Nvidia Nemotron-Bolt-Familie dominiert Consumer-GPU-Inferenz – Benchmarks ernüchternd

Aktueller Stand

Nvidia Nemotron 3.5 Bolt bezeichnet eine Familie von MoE-Modellen (74B A9B und E4B), die auf Consumer-Hardware mit 24 GB VRAM bzw. 4 GB Speicherbedarf ausgelegt sind. Die Modelle richten sich an Entwickler und kleine Unternehmen, die datenschutzkonforme lokale Inferenz ohne Cloud-Abhängigkeit betreiben wollen – Agent-Workflows, Voice-Assistenten und Multi-User-Setups eingeschlossen. Der KV-Cache gilt als ausgesprochen effizient: Auf einem RTX 5090 (32 GB) oder 128-GB-Setup sollen Millionen von Kontext-Tokens gleichzeitig verwaltbar sein. Im Wettbewerbsumfeld ist Bolt derzeit die einzige realistische Option für 24-GB-VRAM-Consumer-GPUs unter den jüngsten Open-Weight-Releases. Gegenüber Qwen und DeepSeek zeigen sich jedoch Lücken bei Code-Benchmarks; das Modell punktet bei GPQA-Diamond, bleibt bei Coding-Tasks klar hinter Qwen 3.8 FN zurück. Lizenzkonditionen sind noch nicht abschliessend kommuniziert – ein relevanter Faktor für kommerzielle Deployments.

Wichtigste Updates

Launch der Nemotron 3.5 Bolt-Familie. Nvidia veröffentlichte innerhalb einer Woche gleich zwei Bolt-Varianten: das 74B A9B MoE-Modell für 24-GB-VRAM-GPUs sowie das E4B-Modell mit nur 4 GB Speicherbedarf für Edge- und Voice-Anwendungen. Beide sind als GGUF-Varianten verfügbar, unter anderem via ggml-org und unsloth, was die Integration in bestehende lokale Setups erleichtert. Quantisierungsaware Training soll trotz aggressiver Komprimierung die Qualität sichern.

Day-0-Support in llama.cpp. Mit dem Bekanntwerden der Gewichte erhielt Nemotron Bolt 74B A9B sofortigen Support in llama.cpp – kein nachträgliches Warten auf Backend-Integration nötig. Das beschleunigt den Einsatz erheblich und ist ein Signal dafür, dass das Ökosystem die Bolt-Familie als relevante lokale Alternative einordnet.

Benchmark-Ergebnisse ernüchternd, aber differenziert. Community-Tests zeigen ein gespaltenes Bild: Bolt-Medium-Thinking unterbietet sogar Nemotron Nano in Domain-spezifischen Tests, High-Thinking bringt bei deutlich höherer Latenz keinen messbaren Vorteil. Im direkten Vergleich mit Qwen 3.8 FN zeigen sich klare Lücken bei Coding-Tasks (DeepSWE, SWE-bench Pro), während GPQA-Diamond mit 86,43 Punkten ein echter Stärkebereich ist. Für reine Code-Agenten ist Bolt damit aktuell nicht die erste Wahl.

KV-Cache-Effizienz als Differenziator. Im Multi-User-Kontext hebt sich Bolt durch seinen effizienten KV-Cache ab – laut Community-Analyse der effizienteste unter aktuellen Modellen ausser DeepSeek, was für kleine Unternehmen mit begrenzter GPU-Infrastruktur ein konkreter Vorteil sein kann.

Was zu erwarten

Aus den Quell-Posts geht hervor, dass erhöhte Token-Budgets für Super-VL potenziell bessere Benchmark-Ergebnisse liefern könnten – ein Folgetest wurde explizit als lohnenswert eingestuft. Zudem deutet der Day-0-Support in llama.cpp auf ein wachsendes Ökosystem-Engagement hin, das weitere Backend-Integrationen nach sich ziehen dürfte. Die Lizenzfrage bleibt offen: Ob Bolt-Modelle unter MIT, Apache 2.0 oder einer Attribution-basierten Lizenz erscheinen, ist aus den vorliegenden Posts nicht abschliessend geklärt – für kommerzielle Nutzer ein ungeklärter Punkt. Kapitsa als Apple-Silicon-optimierte Inference-Engine signalisiert zudem Interesse an Nemotron-Modellen auf Mac-Hardware, was eine weitere Verbreitung in der Entwickler-Community ermöglichen könnte.