Basalt 0.2.0: 300 t/s Prose und 600 t/s Struct auf RTX 5090 + 5060 Ti
Warum es zählt
Für lokale Inferenz auf Blackwell-GPUs bietet Basalt 0.2.0 messbar bessere Qualitätswerte als llama.cpp Q8 bei gleichzeitig hohem Durchsatz; der neue DQ8-Build gibt Entwicklern eine quantisierungsärmere Option mit nur ~7 % Geschwindigkeitseinbuße.
— Lumeric Redaktion
Basalt-Bench KLD Quality (vs. BF16 Referenz) · Spitzenwert
0.02%
Basalt Q8
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.
Verwandte Beiträge
Basalt 0.2.0: 300 t/s Prose und 600 t/s Struct auf RTX 5090 + 5060 Ti
Warum es zählt
Für lokale Inferenz auf Blackwell-GPUs bietet Basalt 0.2.0 messbar bessere Qualitätswerte als llama.cpp Q8 bei gleichzeitig hohem Durchsatz; der neue DQ8-Build gibt Entwicklern eine quantisierungsärmere Option mit nur ~7 % Geschwindigkeitseinbuße.
— Lumeric Redaktion
Basalt-Bench KLD Quality (vs. BF16 Referenz) · Spitzenwert
0.02%
Basalt Q8
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.