4x Intel B65: ~30% schnelleres Prefill mit größerem Chunk-Size in vLLM
ToolsQwen
Warum es zählt
Für lokale Multi-Karten-Setups mit Intel XPU zeigt sich, dass vLLMs Standard-Chunk-Größe (1.024) für Einzel- oder Kleingruppen-Nutzung zu konservativ ist. Chunk 8.192–16.384 bringt deutlich besseren Durchsatz, auf Kosten von etwas längeren Pausen bei Parallelnutzung.
— Lumeric Redaktion
Prefill-Speed (tok/s) bei 32K-Prompt – 4x Intel B65, Qwen3.8-Flash-Next · Spitzenwert
3161%
Chunk 1,024 (Standard)
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.
Verwandte Beiträge
4x Intel B65: ~30% schnelleres Prefill mit größerem Chunk-Size in vLLM
ToolsQwen
Warum es zählt
Für lokale Multi-Karten-Setups mit Intel XPU zeigt sich, dass vLLMs Standard-Chunk-Größe (1.024) für Einzel- oder Kleingruppen-Nutzung zu konservativ ist. Chunk 8.192–16.384 bringt deutlich besseren Durchsatz, auf Kosten von etwas längeren Pausen bei Parallelnutzung.
— Lumeric Redaktion
Prefill-Speed (tok/s) bei 32K-Prompt – 4x Intel B65, Qwen3.8-Flash-Next · Spitzenwert
3161%
Chunk 1,024 (Standard)
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.