Qwen3.8-27B auf MI300X: 311 auf 495 tok/s mit dstack Open-Source-Toolkit
Der Reddit-Post von Nutzer /u/cheptsov dokumentiert einen konkreten Optimierungsworkflow für das Sprachmodell Qwen3.8-27B auf einer einzelnen AMD MI300X GPU. Ausgangspunkt war ein Basisdurchsatz von 311 Tokens pro Sekunde; durch gezielte Eingriffe konnte dieser auf 495 Tokens pro Sekunde gesteigert werden – ein Plus von 59 Prozent. Entscheidend dabei waren verkettete Optimierungssessions sowie Patches direkt am Quellcode des AITER Attention-Backends von SGLang, einem populären Inferenz-Framework. Bemerkenswert ist, dass die Optimierungen bei vollem 1-Million-Token-Kontext und vier gleichzeitigen Nutzern mit jeweils 10.000 Input- und 1.500 Output-Tokens getestet wurden – ein praxisnaher Lasttest. Die Time-to-First-Token (TTFT) blieb dabei im p50-Median unter 1,5 Sekunden, was für interaktive Anwendungen relevant ist. Das Ergebnis ist ein portables dstack-Preset, das ohne weiteres auf AMD-Cloud-Instanzen, Kubernetes-Clustern oder Bare-Metal-Servern ausgerollt werden kann. dstack positioniert sich damit als Middleware-Schicht, die Low-Level-Patches kapselt und reproduzierbar macht, ohne dass Anwender selbst in Inferenz-Framework-Quellcode eingreifen müssen.
- Testlast: 4 gleichzeitige Nutzer, jeweils 10.000 Input-Tokens und 1.500 Output-Tokens bei vollem 1M-Kontext.
- Optimierungen erfolgten durch Patches am AITER Attention-Backend von SGLang auf Quellcode-Ebene.
- Das resultierende dstack-Preset ist portabel für AMD Cloud, Kubernetes und Bare-Metal-Umgebungen.
- Die Ergebnisse und Methodik sind im dstack-Blog unter dstack.ai/blog/presets/ dokumentiert.
- p50 TTFT blieb trotz des gestiegenen Durchsatzes unter 1,5 Sekunden – relevant für latenzempfindliche Deployments.
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.
Verwandte Beiträge
Qwen3.8-27B auf MI300X: 311 auf 495 tok/s mit dstack Open-Source-Toolkit
Der Reddit-Post von Nutzer /u/cheptsov dokumentiert einen konkreten Optimierungsworkflow für das Sprachmodell Qwen3.8-27B auf einer einzelnen AMD MI300X GPU. Ausgangspunkt war ein Basisdurchsatz von 311 Tokens pro Sekunde; durch gezielte Eingriffe konnte dieser auf 495 Tokens pro Sekunde gesteigert werden – ein Plus von 59 Prozent. Entscheidend dabei waren verkettete Optimierungssessions sowie Patches direkt am Quellcode des AITER Attention-Backends von SGLang, einem populären Inferenz-Framework. Bemerkenswert ist, dass die Optimierungen bei vollem 1-Million-Token-Kontext und vier gleichzeitigen Nutzern mit jeweils 10.000 Input- und 1.500 Output-Tokens getestet wurden – ein praxisnaher Lasttest. Die Time-to-First-Token (TTFT) blieb dabei im p50-Median unter 1,5 Sekunden, was für interaktive Anwendungen relevant ist. Das Ergebnis ist ein portables dstack-Preset, das ohne weiteres auf AMD-Cloud-Instanzen, Kubernetes-Clustern oder Bare-Metal-Servern ausgerollt werden kann. dstack positioniert sich damit als Middleware-Schicht, die Low-Level-Patches kapselt und reproduzierbar macht, ohne dass Anwender selbst in Inferenz-Framework-Quellcode eingreifen müssen.
- Testlast: 4 gleichzeitige Nutzer, jeweils 10.000 Input-Tokens und 1.500 Output-Tokens bei vollem 1M-Kontext.
- Optimierungen erfolgten durch Patches am AITER Attention-Backend von SGLang auf Quellcode-Ebene.
- Das resultierende dstack-Preset ist portabel für AMD Cloud, Kubernetes und Bare-Metal-Umgebungen.
- Die Ergebnisse und Methodik sind im dstack-Blog unter dstack.ai/blog/presets/ dokumentiert.
- p50 TTFT blieb trotz des gestiegenen Durchsatzes unter 1,5 Sekunden – relevant für latenzempfindliche Deployments.
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.