llama.cpp Build B9109 zielt auf MTP- und mmproj-Crash-Fix ab
Build B9109 von llama.cpp enthält drei gezielte Commits, die zusammen den bekannten Absturz beim gleichzeitigen Einsatz von Multi-Token Prediction (MTP) und multimodalen Projektor-Gewichten (mmproj) beheben sollen. Erstens ermöglicht ein Spec-Commit, Bilder durch den Draft-Kontext zu verarbeiten – bisher war das schlicht nicht möglich und führte direkt zum Crash. Zweitens behebt ein Server-Commit die Draft-Verarbeitung im mtmd-Handler, dem internen Modul für multimodale Eingaben. Drittens fügt ein weiterer Spec-Commit Infrastruktur für parallele Draft-Modelle hinzu, was für MTP mit mehreren parallelen Slots notwendig ist. Die Kombination aller drei Änderungen in einem Build deutet laut Community-Analyse auf einen koordinierten Fix-Push hin. PR #22673 wird als wahrscheinlicher nächster Schritt gehandelt, der die Änderungen offiziell zusammenführen könnte.
- Commit 'spec: process images through draft context' behebt den Kern des mmproj+MTP-Crashes
- Commit 'server: fix mtmd draft processing' adressiert den multimodalen Handler explizit
- Commit 'spec: support parallel drafts' liefert Infrastruktur für MTP bei parallelen Slots
- PR #22673 gilt als wahrscheinlicher nächster offizieller Merge in llama.cpp
- Gemeldet von /u/Bulky-Priority6824 im Subreddit r/LocalLLaMA
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.
Verwandte Beiträge
llama.cpp Build B9109 zielt auf MTP- und mmproj-Crash-Fix ab
Build B9109 von llama.cpp enthält drei gezielte Commits, die zusammen den bekannten Absturz beim gleichzeitigen Einsatz von Multi-Token Prediction (MTP) und multimodalen Projektor-Gewichten (mmproj) beheben sollen. Erstens ermöglicht ein Spec-Commit, Bilder durch den Draft-Kontext zu verarbeiten – bisher war das schlicht nicht möglich und führte direkt zum Crash. Zweitens behebt ein Server-Commit die Draft-Verarbeitung im mtmd-Handler, dem internen Modul für multimodale Eingaben. Drittens fügt ein weiterer Spec-Commit Infrastruktur für parallele Draft-Modelle hinzu, was für MTP mit mehreren parallelen Slots notwendig ist. Die Kombination aller drei Änderungen in einem Build deutet laut Community-Analyse auf einen koordinierten Fix-Push hin. PR #22673 wird als wahrscheinlicher nächster Schritt gehandelt, der die Änderungen offiziell zusammenführen könnte.
- Commit 'spec: process images through draft context' behebt den Kern des mmproj+MTP-Crashes
- Commit 'server: fix mtmd draft processing' adressiert den multimodalen Handler explizit
- Commit 'spec: support parallel drafts' liefert Infrastruktur für MTP bei parallelen Slots
- PR #22673 gilt als wahrscheinlicher nächster offizieller Merge in llama.cpp
- Gemeldet von /u/Bulky-Priority6824 im Subreddit r/LocalLLaMA
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.