Qwen 3.8 FN: Benchmark aller populären Inference-Engines auf RTX 5090
Warum es zählt
Basalt und Infernix führen beim Decode (354 bzw. 349 t/s bei Struct, ~10% Abstand zu Platz 3), Basalt dominiert Prefill ab 50K Token. llama.cpp ohne MTP ist deutlich langsamer – wer Qwen 3.8 FN auf Single-GPU produktiv betreiben will, sollte Basalt oder Infernix priorisieren.
— Lumeric Redaktion
Qwen 3.8 FN Decode – Prose (t/s, RTX 5090) · Spitzenwert
180%
Basalt
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.
Verwandte Beiträge
Qwen 3.8 FN: Benchmark aller populären Inference-Engines auf RTX 5090
Warum es zählt
Basalt und Infernix führen beim Decode (354 bzw. 349 t/s bei Struct, ~10% Abstand zu Platz 3), Basalt dominiert Prefill ab 50K Token. llama.cpp ohne MTP ist deutlich langsamer – wer Qwen 3.8 FN auf Single-GPU produktiv betreiben will, sollte Basalt oder Infernix priorisieren.
— Lumeric Redaktion
Qwen 3.8 FN Decode – Prose (t/s, RTX 5090) · Spitzenwert
180%
Basalt
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.