Qwen3.6 27B & 35B auf einer AMD R9700 mit vLLM: Benchmark-Ergebnisse
Warum es zählt
27B- und 35B-Modelle laufen praxistauglich auf einer einzigen Consumer-AMD-GPU mit 32 GB VRAM – inklusive langer Kontextfenster (bis 262k Token). Die veröffentlichte vLLM-Radiance-Docker-Config senkt die Einstiegshürde für ROCm-basierte Setups erheblich.
— Lumeric Redaktion
vLLM Decode Throughput (tok/s, 4k Kontext) · Spitzenwert
61.4%
Qwen3.6-35B-A3B MoE (4k)
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.
Verwandte Beiträge
Qwen3.6 27B & 35B auf einer AMD R9700 mit vLLM: Benchmark-Ergebnisse
Warum es zählt
27B- und 35B-Modelle laufen praxistauglich auf einer einzigen Consumer-AMD-GPU mit 32 GB VRAM – inklusive langer Kontextfenster (bis 262k Token). Die veröffentlichte vLLM-Radiance-Docker-Config senkt die Einstiegshürde für ROCm-basierte Setups erheblich.
— Lumeric Redaktion
vLLM Decode Throughput (tok/s, 4k Kontext) · Spitzenwert
61.4%
Qwen3.6-35B-A3B MoE (4k)
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.