NVIDIA Puzzle-75B-A9B NVFP4 erreicht 132 t/s auf 3×RTX 3090
CompaniesNVIDIA
Warum es zählt
Für Multi-GPU-Heimlabs mit 3×24 GB VRAM füllt die 70–80B-total/~10B-active MoE-Größenklasse den Speicher ideal aus und liefert Dense-Qualität bei MoE-Geschwindigkeit — doch Puzzle ist aktuell das einzige moderne Modell in dieser Nische. Wer auf Qwen 27B ausweicht, lässt zwei Drittel seines VRAMs brach liegen.
— Lumeric Redaktion
132 t/s
Decode-Durchsatz auf 3×RTX 3090 (NVFP4)
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.
Verwandte Beiträge
NVIDIA Puzzle-75B-A9B NVFP4 erreicht 132 t/s auf 3×RTX 3090
CompaniesNVIDIA
Warum es zählt
Für Multi-GPU-Heimlabs mit 3×24 GB VRAM füllt die 70–80B-total/~10B-active MoE-Größenklasse den Speicher ideal aus und liefert Dense-Qualität bei MoE-Geschwindigkeit — doch Puzzle ist aktuell das einzige moderne Modell in dieser Nische. Wer auf Qwen 27B ausweicht, lässt zwei Drittel seines VRAMs brach liegen.
— Lumeric Redaktion
132 t/s
Decode-Durchsatz auf 3×RTX 3090 (NVFP4)
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.