capy-flash v0.7.4: Zwei-GPU-Engine für Qwen3.8 auf RTX 5070 Ti
Warum es zählt
Wer Qwen3.8-Modelle auf zwei Consumer-GPUs (RTX 50-Serie, je 16 GB VRAM) lokal betreibt, kann mit capy-flash deutlich höhere Decode-Geschwindigkeiten als mit Strata erzielen. Der neue Disk-Context-Cache ermöglicht schnelles Wiederaufnehmen langer Sessions (80k Token in 0,7 s statt 21 s Prefill).
— Lumeric Redaktion
Decode-Throughput (tok/s), Qwen3.8-Flash-Next, NVFP4 · Spitzenwert
178%
capy-flash 2× 5070 Ti (NVFP4)
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.
Verwandte Beiträge
capy-flash v0.7.4: Zwei-GPU-Engine für Qwen3.8 auf RTX 5070 Ti
Warum es zählt
Wer Qwen3.8-Modelle auf zwei Consumer-GPUs (RTX 50-Serie, je 16 GB VRAM) lokal betreibt, kann mit capy-flash deutlich höhere Decode-Geschwindigkeiten als mit Strata erzielen. Der neue Disk-Context-Cache ermöglicht schnelles Wiederaufnehmen langer Sessions (80k Token in 0,7 s statt 21 s Prefill).
— Lumeric Redaktion
Decode-Throughput (tok/s), Qwen3.8-Flash-Next, NVFP4 · Spitzenwert
178%
capy-flash 2× 5070 Ti (NVFP4)
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.