Unsloth vs. Bartowski: MTP-GGUF-Vergleich für Qwen3.5/3.6-Modelle
Reddit-Nutzer Ok_Warning2146 hat MTP-GGUFs (Multi-Token Prediction) von Unsloth und Bartowski für vier Qwen-Modelle – Qwen3.5-4B, Qwen3.5-9B, Qwen3.6-27B und Qwen3.6-35B-A3B – systematisch gegenübergestellt. Bartowski verwendet Q8_0-Quantisierung für den MTP-Head, was größere Dateien ergibt. Gemessen wurde mit am17ans mtp-bench.py auf einer RTX 3090 (24 GB VRAM) via llama-server mit dem Flag --spec-type draft-mtp. Getestete Quants: Q4_0, IQ4_NL, Q4_1, Q8_0 (letzteres nur bei 4B/9B). Ergebnis: Beim 4B-Modell ist MTP nur bei Q8_0 schneller, kostet aber 21,6 % mehr VRAM für 13,3 % Speedup. Ab 9B bringt MTP durchgehend Vorteile; beim 27B-Modell steigt die Dekodiergeschwindigkeit mit MTP um bis zu 53,2 % bei nur 9,5 % VRAM-Mehrverbrauch. Beim MoE-Modell 35B-A3B ist Bartowskis GGUF 13 % größer, aber 8 % schneller als Unsloths – ein noch ungeklärter Befund. Perplexität und Intelligenz wurden nicht getestet; der Autor empfiehlt eigene Tests je nach Einsatzszenario.
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.
Verwandte Beiträge
Unsloth vs. Bartowski: MTP-GGUF-Vergleich für Qwen3.5/3.6-Modelle
Reddit-Nutzer Ok_Warning2146 hat MTP-GGUFs (Multi-Token Prediction) von Unsloth und Bartowski für vier Qwen-Modelle – Qwen3.5-4B, Qwen3.5-9B, Qwen3.6-27B und Qwen3.6-35B-A3B – systematisch gegenübergestellt. Bartowski verwendet Q8_0-Quantisierung für den MTP-Head, was größere Dateien ergibt. Gemessen wurde mit am17ans mtp-bench.py auf einer RTX 3090 (24 GB VRAM) via llama-server mit dem Flag --spec-type draft-mtp. Getestete Quants: Q4_0, IQ4_NL, Q4_1, Q8_0 (letzteres nur bei 4B/9B). Ergebnis: Beim 4B-Modell ist MTP nur bei Q8_0 schneller, kostet aber 21,6 % mehr VRAM für 13,3 % Speedup. Ab 9B bringt MTP durchgehend Vorteile; beim 27B-Modell steigt die Dekodiergeschwindigkeit mit MTP um bis zu 53,2 % bei nur 9,5 % VRAM-Mehrverbrauch. Beim MoE-Modell 35B-A3B ist Bartowskis GGUF 13 % größer, aber 8 % schneller als Unsloths – ein noch ungeklärter Befund. Perplexität und Intelligenz wurden nicht getestet; der Autor empfiehlt eigene Tests je nach Einsatzszenario.
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.