Nemotron Puzzle 75B auf 64GB M2 Max: 4-bit vs. 5-bit Experten-Quantisierung
ToolsNVIDIA Hardware
CompaniesNVIDIA
Warum es zählt
4-bit-Experten (49,68 GB Peak) erreichen 14,27 tok/s und 24/30 lokale Tasks, während 5-bit (58,12 GB Peak) auf 10,53 tok/s und 21/30 fällt – der BF16 Output-Head ist Pflicht, da 4-bit-Quantisierung des 131k-Vokabular-Heads zu degeneriertem Output führt.
— Lumeric Redaktion
Local Task Checks (30 Tasks, 5 Seeds, Nemotron Puzzle 75B) · Spitzenwert
24%
4-bit Experten (6-bit Dense, BF16 Head)
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.
Verwandte Beiträge
Nemotron Puzzle 75B auf 64GB M2 Max: 4-bit vs. 5-bit Experten-Quantisierung
ToolsNVIDIA Hardware
CompaniesNVIDIA
Warum es zählt
4-bit-Experten (49,68 GB Peak) erreichen 14,27 tok/s und 24/30 lokale Tasks, während 5-bit (58,12 GB Peak) auf 10,53 tok/s und 21/30 fällt – der BF16 Output-Head ist Pflicht, da 4-bit-Quantisierung des 131k-Vokabular-Heads zu degeneriertem Output führt.
— Lumeric Redaktion
Local Task Checks (30 Tasks, 5 Seeds, Nemotron Puzzle 75B) · Spitzenwert
24%
4-bit Experten (6-bit Dense, BF16 Head)
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.