Tesla P40 mit 35B MoE: 262k Kontext und 60 t/s ohne Sub-Q4-Quants
Warum es zählt
Konkrete Optimierungsschritte für Pascal-GPUs ohne Tensor Cores: ECC-Deaktivierung, dp4a-Quantisierung im Attention-Kernel (+41% Prefill bei 100k) und ein fixes MTP-Head heben die Draft-Akzeptanzrate von 45% auf 60–85%. Für Entwickler mit Consumer- oder Workstation-Hardware ohne moderne Tensor Cores zeigt das Post einen reproduzierbaren Tuning-Pfad auf.
— Lumeric Redaktion
llama-bench Decode t/s (P40, Ornith 1.5 35B-A3B) · Spitzenwert
60.8%
0k Tiefe
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.
Verwandte Beiträge
Tesla P40 mit 35B MoE: 262k Kontext und 60 t/s ohne Sub-Q4-Quants
Warum es zählt
Konkrete Optimierungsschritte für Pascal-GPUs ohne Tensor Cores: ECC-Deaktivierung, dp4a-Quantisierung im Attention-Kernel (+41% Prefill bei 100k) und ein fixes MTP-Head heben die Draft-Akzeptanzrate von 45% auf 60–85%. Für Entwickler mit Consumer- oder Workstation-Hardware ohne moderne Tensor Cores zeigt das Post einen reproduzierbaren Tuning-Pfad auf.
— Lumeric Redaktion
llama-bench Decode t/s (P40, Ornith 1.5 35B-A3B) · Spitzenwert
60.8%
0k Tiefe
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.