NVIDIA Nemotron-Labs-3-Puzzle-75B-A9B läuft auf 2× RTX 3090 mit 262K Kontext
Warum es zählt
PIECEWISE-CUDA-Graphs steigern den Decode-Durchsatz von 27,9 auf 88+ tok/s; mit GC-Allocator-Tuning werden 93,8 tok/s (N=1) und 255 tok/s aggregiert (N=4) erreicht. Das Setup zeigt, dass Consumer-Hardware mit gezielten Treiber-Patches und vLLM-Nightly große Hybrid-MoE-Modelle produktiv betreiben kann.
— Lumeric Redaktion
93,8 tok/s
N=1 Decode-Durchsatz auf 2× RTX 3090
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.
Verwandte Beiträge
- LAUNCHreddit.com1w
NVIDIA veröffentlicht Nemotron-Labs-3-Puzzle-75B: komprimiertes Hybrid-MoE-Modell
- BENCHMARKreddit.com2w
Nemotron-3-Super-120B erreicht perfektes Needle-Retrieval bei 504K Tokens auf 4×RTX 3090
- MEINUNGreddit.com4d
Erfahrungsbericht: 100B+ LLMs auf Laptop mit 4 GB VRAM via NVMe-Offloading
NVIDIA Nemotron-Labs-3-Puzzle-75B-A9B läuft auf 2× RTX 3090 mit 262K Kontext
Warum es zählt
PIECEWISE-CUDA-Graphs steigern den Decode-Durchsatz von 27,9 auf 88+ tok/s; mit GC-Allocator-Tuning werden 93,8 tok/s (N=1) und 255 tok/s aggregiert (N=4) erreicht. Das Setup zeigt, dass Consumer-Hardware mit gezielten Treiber-Patches und vLLM-Nightly große Hybrid-MoE-Modelle produktiv betreiben kann.
— Lumeric Redaktion
93,8 tok/s
N=1 Decode-Durchsatz auf 2× RTX 3090
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.
Verwandte Beiträge
- LAUNCHreddit.com1w
NVIDIA veröffentlicht Nemotron-Labs-3-Puzzle-75B: komprimiertes Hybrid-MoE-Modell
- BENCHMARKreddit.com2w
Nemotron-3-Super-120B erreicht perfektes Needle-Retrieval bei 504K Tokens auf 4×RTX 3090
- MEINUNGreddit.com4d
Erfahrungsbericht: 100B+ LLMs auf Laptop mit 4 GB VRAM via NVMe-Offloading