Boole-32B-A2.5B-Preview: 1,8-Bit-MoE mit 565 Token/s auf einer RTX 5090
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.
Verwandte Beiträge
- LAUNCHreddit.com2w
Ternary Nemotron 30B-A3B: 368K Kontext auf 12-GB-GPU mit 172 tok/s
- LAUNCHreddit.com1w
Betelgeuse: Qwen 3.8 Flash Next mit 22 tok/s auf RTX 3060 + 16 GB RAM
- LAUNCHhuggingface.co3w
PyTorch 2.15 bringt FP8-Support und 6,5× schnelleres MoE-Decoding auf Apple Silicon
- FORSCHUNGarxiv.org3w
BitMTP kombiniert Multi-Token-Prediction mit Ultra-Low-Bit-LLMs für 2,4× Speedup
Boole-32B-A2.5B-Preview: 1,8-Bit-MoE mit 565 Token/s auf einer RTX 5090
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.
Verwandte Beiträge
- LAUNCHreddit.com2w
Ternary Nemotron 30B-A3B: 368K Kontext auf 12-GB-GPU mit 172 tok/s
- LAUNCHreddit.com1w
Betelgeuse: Qwen 3.8 Flash Next mit 22 tok/s auf RTX 3060 + 16 GB RAM
- LAUNCHhuggingface.co3w
PyTorch 2.15 bringt FP8-Support und 6,5× schnelleres MoE-Decoding auf Apple Silicon
- FORSCHUNGarxiv.org3w
BitMTP kombiniert Multi-Token-Prediction mit Ultra-Low-Bit-LLMs für 2,4× Speedup