Basalt: Blackwell-Inferenz-Engine erreicht 665 tok/s auf 5090+5060Ti
Warum es zählt
Für Entwickler mit Blackwell-Hardware (5090/5060Ti) bietet Basalt deutlich höhere Inferenzdurchsätze als llama.cpp oder Strata, inklusive echter 8-User-Concurrency (623 tok/s gesamt), 3–4× schnellerem Vision-Encoder und Support für mehrere Quant-Formate ohne Re-Quantisierung.
— Lumeric Redaktion
Inferenz-Durchsatz (IQ3_XXS, 400W, Qwen3.8 Flash-Next) · Spitzenwert
665%
Basalt (5090 + 5060 Ti) – strukturiert
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.
Verwandte Beiträge
Basalt: Blackwell-Inferenz-Engine erreicht 665 tok/s auf 5090+5060Ti
Warum es zählt
Für Entwickler mit Blackwell-Hardware (5090/5060Ti) bietet Basalt deutlich höhere Inferenzdurchsätze als llama.cpp oder Strata, inklusive echter 8-User-Concurrency (623 tok/s gesamt), 3–4× schnellerem Vision-Encoder und Support für mehrere Quant-Formate ohne Re-Quantisierung.
— Lumeric Redaktion
Inferenz-Durchsatz (IQ3_XXS, 400W, Qwen3.8 Flash-Next) · Spitzenwert
665%
Basalt (5090 + 5060 Ti) – strukturiert
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.