Unsloth und Mistral beheben Inferenz-Bug in Mistral Medium 3.5
Am 1. Mai 2026 veröffentlichte Unsloth ein Update, das einen Inferenzfehler in Mistral Medium 3.5 adressiert, der in mehreren verbreiteten Implementierungen auftrat – darunter Hugging Face transformers und llama.cpp. Der Bug war nicht auf Unsloth oder dessen Quantisierungen zurückzuführen, sondern auf eine Eigenheit beim Parsen von YaRN-Parametern (Yet another RoPE extensioN), die für Long-Context-Unterstützung zuständig sind. Konkret war der Parameter mscale_all_dim fälschlicherweise auf 1 gesetzt; das Setzen auf 0 behebt das Problem. Unsloth hat aktualisierte GGUF-Dateien mit dem Fix veröffentlicht und dabei zusätzlich einen separaten Fehler bei der Generierung von mmproj-Dateien (Multimodal-Projektionsdateien) korrigiert. Die Zusammenarbeit mit Mistral deutet darauf hin, dass der Fix auch upstream in die offiziellen Modellkonfigurationen einfließen soll.
- Bug betraf mehrere Frameworks gleichzeitig: transformers, llama.cpp und weitere Implementierungen.
- Fix: YaRN-Parameter mscale_all_dim von 1 auf 0 geändert — nicht modellspezifisch für Unsloth-Quants.
- Unsloth hat aktualisierte GGUF-Dateien mit dem Bugfix veröffentlicht.
- Zusätzlich wurde ein Fehler bei der Generierung von mmproj-Dateien (Multimodal) behoben.
- Fix entstand in Kooperation zwischen Unsloth und Mistral.
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.
Verwandte Beiträge
- LAUNCHreddit.com3w
Mistral Medium 3.5 128B: Fehlerhafte GGUF-Dateien bei Unsloth korrigiert
- MEINUNGreddit.com2h
vLLM vs. llama.cpp: 5×-Prefill-Speed, aber GGUF-Kompatibilität fehlt
- LAUNCHreddit.com3w
vLLM merged TurboQuant-Fix für Qwen 3.5+
- MEINUNGreddit.com3d
llama-bench mit MTP und Speculative Decoding: Nutzer sucht funktionierende Konfiguration
Unsloth und Mistral beheben Inferenz-Bug in Mistral Medium 3.5
Am 1. Mai 2026 veröffentlichte Unsloth ein Update, das einen Inferenzfehler in Mistral Medium 3.5 adressiert, der in mehreren verbreiteten Implementierungen auftrat – darunter Hugging Face transformers und llama.cpp. Der Bug war nicht auf Unsloth oder dessen Quantisierungen zurückzuführen, sondern auf eine Eigenheit beim Parsen von YaRN-Parametern (Yet another RoPE extensioN), die für Long-Context-Unterstützung zuständig sind. Konkret war der Parameter mscale_all_dim fälschlicherweise auf 1 gesetzt; das Setzen auf 0 behebt das Problem. Unsloth hat aktualisierte GGUF-Dateien mit dem Fix veröffentlicht und dabei zusätzlich einen separaten Fehler bei der Generierung von mmproj-Dateien (Multimodal-Projektionsdateien) korrigiert. Die Zusammenarbeit mit Mistral deutet darauf hin, dass der Fix auch upstream in die offiziellen Modellkonfigurationen einfließen soll.
- Bug betraf mehrere Frameworks gleichzeitig: transformers, llama.cpp und weitere Implementierungen.
- Fix: YaRN-Parameter mscale_all_dim von 1 auf 0 geändert — nicht modellspezifisch für Unsloth-Quants.
- Unsloth hat aktualisierte GGUF-Dateien mit dem Bugfix veröffentlicht.
- Zusätzlich wurde ein Fehler bei der Generierung von mmproj-Dateien (Multimodal) behoben.
- Fix entstand in Kooperation zwischen Unsloth und Mistral.
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.
Verwandte Beiträge
- LAUNCHreddit.com3w
Mistral Medium 3.5 128B: Fehlerhafte GGUF-Dateien bei Unsloth korrigiert
- MEINUNGreddit.com2h
vLLM vs. llama.cpp: 5×-Prefill-Speed, aber GGUF-Kompatibilität fehlt
- LAUNCHreddit.com3w
vLLM merged TurboQuant-Fix für Qwen 3.5+
- MEINUNGreddit.com3d
llama-bench mit MTP und Speculative Decoding: Nutzer sucht funktionierende Konfiguration