Ternary Nemotron 30B-A3B: 368K Kontext auf 12-GB-GPU mit 172 tok/s
CompaniesHugging Face
Warum es zählt
Das Modell ermöglicht lokale Inferenz eines 30B-MoE-Modells auf Consumer-Hardware (12 GB VRAM) bei sehr hohem Kontext und schnellem Prefill – relevant für Entwickler, die große Kontextfenster ohne teure GPU-Infrastruktur benötigen.
— Lumeric Redaktion
172 tok/s Decode, 7000+ tok/s Prefill
auf 12-GB-GPU mit 368K Kontext
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.
Verwandte Beiträge
Ternary Nemotron 30B-A3B: 368K Kontext auf 12-GB-GPU mit 172 tok/s
CompaniesHugging Face
Warum es zählt
Das Modell ermöglicht lokale Inferenz eines 30B-MoE-Modells auf Consumer-Hardware (12 GB VRAM) bei sehr hohem Kontext und schnellem Prefill – relevant für Entwickler, die große Kontextfenster ohne teure GPU-Infrastruktur benötigen.
— Lumeric Redaktion
172 tok/s Decode, 7000+ tok/s Prefill
auf 12-GB-GPU mit 368K Kontext
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.