Unsloth Gemma 4 mmproj inkompatibel mit neueren llama.cpp Builds
Der Reddit-Nutzer /u/Top_Speaker_7785 beschreibt, wie sein Projekt ScreenMind – ein lokaler KI-Desktop-Assistent für Bildschirmanalyse, Sprachmemo- und Meetingtranskription via llama-server – plötzlich alle multimodalen Features verlor. Das Symptom war eindeutig: Statt Bildbeschreibungen oder Transkriptionen lieferte das Modell nur `<unused49>`-Tokens oder leere Strings, während Text-only-Anfragen weiterhin einwandfrei funktionierten. Das Modell lud ohne Fehlermeldung, der Server startete normal – der Fehler war damit schwer zu isolieren. Der entscheidende Hinweis kam, als der Nutzer bemerkte, dass ein 5-sekündiger Audioclip nur 87 Input-Token erzeugte, obwohl korrekte mmproj-Verarbeitung mehrere Hundert Token produzieren sollte. Ursache ist eine Inkompatibilität zwischen der mmproj-Datei aus dem Unsloth-Repository (`mmproj-BF16.gguf`, 941 MB) und neueren llama.cpp-Builds: Die Regression soll ab Build b9318 einsetzen und ist auf b10244 bestätigt reproduzierbar. ggml-org pflegt llama.cpp und die offiziellen GGUF-Modelle gemeinsam, sodass ihre mmproj-Dateien bei internen Format-Änderungen synchron gehalten werden; Drittanbieter wie Unsloth nutzen eigene Konvertierungspipelines und können dabei zurückfallen. Der Wechsel auf `ggml-org/gemma-4-E2B-it-GGUF` beim selben Build b10244 behob das Problem sofort.
- Betroffene llama.cpp-Builds: Regression beginnt laut Nutzer um b9318, auf b10244 bestätigt; vorherige Builds liefen problemlos.
- Die fehlerhafte Unsloth-mmproj-Datei (mmproj-BF16.gguf) hat eine Größe von 941 MB und stammt aus unsloth/gemma-4-E2B-it-GGUF.
- ggml-org bietet für Gemma 4 E2B offiziell nur drei Quantisierungsstufen an: Q4_0, Q8_0 und BF16 — deutlich weniger Auswahl als Unsloth oder bartowski.
- Als Workaround ergänzte der Autor einen Regex-Filter, der `<unusedN>`-Tokens aus dem Output entfernt, sowie ein Fallback, das Sprachmemos auch bei fehlgeschlagener Transkription in der Datenbank speichert.
- Das Projekt ScreenMind wurde als v0.2.0 auf GitHub veröffentlicht (ayushh0110/ScreenMind), inklusive eines Model Hub, über den Nutzer eigene Quantisierungsvarianten wählen und herunterladen können.
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.
Verwandte Beiträge
Unsloth Gemma 4 mmproj inkompatibel mit neueren llama.cpp Builds
Der Reddit-Nutzer /u/Top_Speaker_7785 beschreibt, wie sein Projekt ScreenMind – ein lokaler KI-Desktop-Assistent für Bildschirmanalyse, Sprachmemo- und Meetingtranskription via llama-server – plötzlich alle multimodalen Features verlor. Das Symptom war eindeutig: Statt Bildbeschreibungen oder Transkriptionen lieferte das Modell nur `<unused49>`-Tokens oder leere Strings, während Text-only-Anfragen weiterhin einwandfrei funktionierten. Das Modell lud ohne Fehlermeldung, der Server startete normal – der Fehler war damit schwer zu isolieren. Der entscheidende Hinweis kam, als der Nutzer bemerkte, dass ein 5-sekündiger Audioclip nur 87 Input-Token erzeugte, obwohl korrekte mmproj-Verarbeitung mehrere Hundert Token produzieren sollte. Ursache ist eine Inkompatibilität zwischen der mmproj-Datei aus dem Unsloth-Repository (`mmproj-BF16.gguf`, 941 MB) und neueren llama.cpp-Builds: Die Regression soll ab Build b9318 einsetzen und ist auf b10244 bestätigt reproduzierbar. ggml-org pflegt llama.cpp und die offiziellen GGUF-Modelle gemeinsam, sodass ihre mmproj-Dateien bei internen Format-Änderungen synchron gehalten werden; Drittanbieter wie Unsloth nutzen eigene Konvertierungspipelines und können dabei zurückfallen. Der Wechsel auf `ggml-org/gemma-4-E2B-it-GGUF` beim selben Build b10244 behob das Problem sofort.
- Betroffene llama.cpp-Builds: Regression beginnt laut Nutzer um b9318, auf b10244 bestätigt; vorherige Builds liefen problemlos.
- Die fehlerhafte Unsloth-mmproj-Datei (mmproj-BF16.gguf) hat eine Größe von 941 MB und stammt aus unsloth/gemma-4-E2B-it-GGUF.
- ggml-org bietet für Gemma 4 E2B offiziell nur drei Quantisierungsstufen an: Q4_0, Q8_0 und BF16 — deutlich weniger Auswahl als Unsloth oder bartowski.
- Als Workaround ergänzte der Autor einen Regex-Filter, der `<unusedN>`-Tokens aus dem Output entfernt, sowie ein Fallback, das Sprachmemos auch bei fehlgeschlagener Transkription in der Datenbank speichert.
- Das Projekt ScreenMind wurde als v0.2.0 auf GitHub veröffentlicht (ayushh0110/ScreenMind), inklusive eines Model Hub, über den Nutzer eigene Quantisierungsvarianten wählen und herunterladen können.
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.