Qwen 3.8 27B mit DeepSeek Harness: 10 Stunden Dauerbetrieb auf RTX 3090
Der Reddit-Nutzer cviperr33 beschreibt seinen Einsatz von Qwen 3.8 27B in Kombination mit dem DeepSeek Harness als Coding-Agent über mehrstündige Dauersessions. Das Modell läuft in der Quantisierungsstufe UD Q4_K_XL (plus Vision-Modul in F16) mit einem Kontextfenster von 92.000 Tokens auf 66 GPU-Layern – ohne CPU-Offloading. Das DeepSeek Harness ergänzt den Workflow um automatische Kontextkompression, die bei Annäherung an das 90k-Limit greift und den Überblick über laufende Aufgaben bewahrt. Standardmäßig operiert llama.cpp laut Nutzer im „xHigh"-Denkmodus, was zu langen Denkphasen von bis zu 20 Minuten führen kann, bevor die erste Ausgabe erscheint – im Gegenzug soll die Lösungsqualität besonders hoch sein. Für Vergleichszwecke nennt der Autor auch Unsloth Studio als alternatives Frontend, das auf einem frischen Chat-Fenster rund 56–60 tok/s erreicht. Die RTX 3090 wird dabei mit 230 Watt ausgelastet. Als Ausblick wünscht sich der Nutzer ein 35B-MoE-Modell von Qwen, das dank Mixture-of-Experts-Architektur CPU-Offloading ermöglicht und die Dauerbetriebstauglichkeit auf Consumer-Hardware verbessern würde; Nutzer mit einer RTX 5090 und vLLM sollen bereits 150–200 tok/s erreichen.
- Quantisierung: UD Q4_K_XL für das Sprachmodell, Vision-Modul separat in F16 – insgesamt 66 GPU-Layer, kein CPU-Offload.
- MTP (Multi-Token Prediction) und Ngram-Spekulation sind aktiviert, was die effektive Ausgabegeschwindigkeit auf neuen Prompts auf ~50 tok/s hebt.
- llama.cpp verwendet laut Nutzer standardmäßig xHigh-Thinking; eine Möglichkeit, den Denkmodus manuell zu reduzieren, ist ihm nicht bekannt.
- Mit 90k gefülltem Kontext sinkt die Geschwindigkeit auf ~37 tok/s bei 230 W GPU-TDP der RTX 3090; mit vLLM auf einer RTX 5090 werden 150–200 tok/s berichtet.
- Der Nutzer identifiziert das fehlende CPU-Offloading des Dense-Modells als Haupthürde: effektiver Betrieb erfordert mindestens 16 GB VRAM, idealerweise eine Blackwell-GPU.
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.
Verwandte Beiträge
Qwen 3.8 27B mit DeepSeek Harness: 10 Stunden Dauerbetrieb auf RTX 3090
Der Reddit-Nutzer cviperr33 beschreibt seinen Einsatz von Qwen 3.8 27B in Kombination mit dem DeepSeek Harness als Coding-Agent über mehrstündige Dauersessions. Das Modell läuft in der Quantisierungsstufe UD Q4_K_XL (plus Vision-Modul in F16) mit einem Kontextfenster von 92.000 Tokens auf 66 GPU-Layern – ohne CPU-Offloading. Das DeepSeek Harness ergänzt den Workflow um automatische Kontextkompression, die bei Annäherung an das 90k-Limit greift und den Überblick über laufende Aufgaben bewahrt. Standardmäßig operiert llama.cpp laut Nutzer im „xHigh"-Denkmodus, was zu langen Denkphasen von bis zu 20 Minuten führen kann, bevor die erste Ausgabe erscheint – im Gegenzug soll die Lösungsqualität besonders hoch sein. Für Vergleichszwecke nennt der Autor auch Unsloth Studio als alternatives Frontend, das auf einem frischen Chat-Fenster rund 56–60 tok/s erreicht. Die RTX 3090 wird dabei mit 230 Watt ausgelastet. Als Ausblick wünscht sich der Nutzer ein 35B-MoE-Modell von Qwen, das dank Mixture-of-Experts-Architektur CPU-Offloading ermöglicht und die Dauerbetriebstauglichkeit auf Consumer-Hardware verbessern würde; Nutzer mit einer RTX 5090 und vLLM sollen bereits 150–200 tok/s erreichen.
- Quantisierung: UD Q4_K_XL für das Sprachmodell, Vision-Modul separat in F16 – insgesamt 66 GPU-Layer, kein CPU-Offload.
- MTP (Multi-Token Prediction) und Ngram-Spekulation sind aktiviert, was die effektive Ausgabegeschwindigkeit auf neuen Prompts auf ~50 tok/s hebt.
- llama.cpp verwendet laut Nutzer standardmäßig xHigh-Thinking; eine Möglichkeit, den Denkmodus manuell zu reduzieren, ist ihm nicht bekannt.
- Mit 90k gefülltem Kontext sinkt die Geschwindigkeit auf ~37 tok/s bei 230 W GPU-TDP der RTX 3090; mit vLLM auf einer RTX 5090 werden 150–200 tok/s berichtet.
- Der Nutzer identifiziert das fehlende CPU-Offloading des Dense-Modells als Haupthürde: effektiver Betrieb erfordert mindestens 16 GB VRAM, idealerweise eine Blackwell-GPU.
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.