Int8-vllm-Fork unterstützt Nemotron 3.5 Bolt 74B auf älteren AMD- und NVIDIA-GPUs
Warum es zählt
Wer ältere AMD- oder NVIDIA-GPUs (Volta, Ampere, MI50–MI210, Radeon) betreibt, erhält mit diesem Fork produktionsreifen INT8-Support inklusive KV-Cache, fused NVFP4-Dequant und AMD Infinity Storage – Model-Ladezeit für Bolt sank von ~7 Min. auf ~2 Min.
— Lumeric Redaktion
>1000 tok/s
Decode-Throughput auf 4× MI100 (Qwen3 27B)
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.
Verwandte Beiträge
Int8-vllm-Fork unterstützt Nemotron 3.5 Bolt 74B auf älteren AMD- und NVIDIA-GPUs
Warum es zählt
Wer ältere AMD- oder NVIDIA-GPUs (Volta, Ampere, MI50–MI210, Radeon) betreibt, erhält mit diesem Fork produktionsreifen INT8-Support inklusive KV-Cache, fused NVFP4-Dequant und AMD Infinity Storage – Model-Ladezeit für Bolt sank von ~7 Min. auf ~2 Min.
— Lumeric Redaktion
>1000 tok/s
Decode-Throughput auf 4× MI100 (Qwen3 27B)
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.