Qwen 3.6 27B: Quantisierungs-Vergleich zeigt Qualitätsverluste ab Q6_K
Ein Reddit-Nutzer aus r/LocalLLaMA führt einen systematischen Vergleich von sieben Quantisierungen des Qwen 3.6 27B-Modells durch. Als Testaufgabe nutzt er die Generierung einer korrekten SVG-Schachbrett-Grafik basierend auf Notation eines zufälligen (unrealistischen) Spielverlaufs – ein Task, auf den das Modell nicht trainiert wurde. Er testet BF16 (Full Precision), Q8_0, Q6_K, Q5_K_XL, Q4_K_XL, IQ4_XS und IQ3_XXS mit identischen llama.cpp-Parametern (temp 0.6, top-p 0.95). Die Baseline BF16 löst die Aufgabe fehlerfrei, Q8_0 behält diese Qualität, aber ab Q6_K treten erste Fehler auf. Zum Vergleich testet er auch andere Modelle (Qwen 3.5 27B, Gemma 4 31B, Qwen3 Coder Next, Qwen 3.6 35B), die alle bei dieser Aufgabe deutlich schlechter abschneiden. Der Post bietet praktische Orientierung für Nutzer mit begrenztem VRAM, die ein Optimum zwischen Modellqualität und Speichereffizienz suchen.
- BF16 und Q8_0 generieren korrekt: richtige Figurenpositionen, Boardorientierung, Farben und Highlight – mit blauer gepunkteter Linie als Zusatz
- Ab Q6_K zeigen sich erste Qualitätsverluste bei der Platzierung von Rankpositionen
- Vergleichstests mit Qwen 3.5 27B, Gemma 4 31B und Qwen 3.6 35B alle fehlerhaft – 35B trotz Geschwindigkeit nicht praktikabel
- Test nutzt zufällige, unrealistische Schachzüge – keine Standard-Trainingsdaten, um echte Modell-Fähigkeiten zu prüfen
- Alle Tests auf llama.cpp ohne Tools/MCP, teilweise auf L40S-Server, teilweise auf RTX 5060 Ti durchgeführt
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.
Verwandte Beiträge
Qwen 3.6 27B: Quantisierungs-Vergleich zeigt Qualitätsverluste ab Q6_K
Ein Reddit-Nutzer aus r/LocalLLaMA führt einen systematischen Vergleich von sieben Quantisierungen des Qwen 3.6 27B-Modells durch. Als Testaufgabe nutzt er die Generierung einer korrekten SVG-Schachbrett-Grafik basierend auf Notation eines zufälligen (unrealistischen) Spielverlaufs – ein Task, auf den das Modell nicht trainiert wurde. Er testet BF16 (Full Precision), Q8_0, Q6_K, Q5_K_XL, Q4_K_XL, IQ4_XS und IQ3_XXS mit identischen llama.cpp-Parametern (temp 0.6, top-p 0.95). Die Baseline BF16 löst die Aufgabe fehlerfrei, Q8_0 behält diese Qualität, aber ab Q6_K treten erste Fehler auf. Zum Vergleich testet er auch andere Modelle (Qwen 3.5 27B, Gemma 4 31B, Qwen3 Coder Next, Qwen 3.6 35B), die alle bei dieser Aufgabe deutlich schlechter abschneiden. Der Post bietet praktische Orientierung für Nutzer mit begrenztem VRAM, die ein Optimum zwischen Modellqualität und Speichereffizienz suchen.
- BF16 und Q8_0 generieren korrekt: richtige Figurenpositionen, Boardorientierung, Farben und Highlight – mit blauer gepunkteter Linie als Zusatz
- Ab Q6_K zeigen sich erste Qualitätsverluste bei der Platzierung von Rankpositionen
- Vergleichstests mit Qwen 3.5 27B, Gemma 4 31B und Qwen 3.6 35B alle fehlerhaft – 35B trotz Geschwindigkeit nicht praktikabel
- Test nutzt zufällige, unrealistische Schachzüge – keine Standard-Trainingsdaten, um echte Modell-Fähigkeiten zu prüfen
- Alle Tests auf llama.cpp ohne Tools/MCP, teilweise auf L40S-Server, teilweise auf RTX 5060 Ti durchgeführt
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.