Basalt-Fork Strata: IQ3_S Qwen3.8 erreicht 5500 tok/s auf RTX 5080
Warum es zählt
Für lokale Inferenz zeigt das Setup, dass IQ3_S-Quants praxistauglich sind und mit Consumer-Hardware (RTX 5080 + DDR5) sehr hohe Durchsatzraten erreichbar sind. Ausstehende PRs des Autors könnten weitere Gewinne in den Upstream bringen.
— Lumeric Redaktion
Inferenz-Durchsatz (tok/s) auf RTX 5080 – Basalt/Strata IQ3_S Qwen3.8 · Spitzenwert
5500%
Prompt Processing
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.
Verwandte Beiträge
Basalt-Fork Strata: IQ3_S Qwen3.8 erreicht 5500 tok/s auf RTX 5080
Warum es zählt
Für lokale Inferenz zeigt das Setup, dass IQ3_S-Quants praxistauglich sind und mit Consumer-Hardware (RTX 5080 + DDR5) sehr hohe Durchsatzraten erreichbar sind. Ausstehende PRs des Autors könnten weitere Gewinne in den Upstream bringen.
— Lumeric Redaktion
Inferenz-Durchsatz (tok/s) auf RTX 5080 – Basalt/Strata IQ3_S Qwen3.8 · Spitzenwert
5500%
Prompt Processing
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.