Basalt: NVFP4-Support und schnelleres Prefill für Qwen3.8 Flash-Next auf Single 5090
Warum es zählt
Lokale Inferenz auf Consumer-Hardware (Single RTX 5090) erreicht mit NVFP4 über 8.500 tok/s Prefill-Throughput bei 64K-Kontext – mit nur marginalem Qualitätsverlust gegenüber Q8_0 (PPL 3.308 vs. 3.286). Relevant für Entwickler, die lange Kontextfenster auf Single-GPU-Setups effizient nutzen wollen.
— Lumeric Redaktion
8.582 tok/s
Prefill-Speed bei 64K-Prompt auf RTX 5090
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.
Verwandte Beiträge
Basalt: NVFP4-Support und schnelleres Prefill für Qwen3.8 Flash-Next auf Single 5090
Warum es zählt
Lokale Inferenz auf Consumer-Hardware (Single RTX 5090) erreicht mit NVFP4 über 8.500 tok/s Prefill-Throughput bei 64K-Kontext – mit nur marginalem Qualitätsverlust gegenüber Q8_0 (PPL 3.308 vs. 3.286). Relevant für Entwickler, die lange Kontextfenster auf Single-GPU-Setups effizient nutzen wollen.
— Lumeric Redaktion
8.582 tok/s
Prefill-Speed bei 64K-Prompt auf RTX 5090
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.