Unsloth und Mistral beheben Inferenz-Bug in Mistral Medium 3.5
Am 1. Mai 2026 veröffentlichte Unsloth ein Update, das einen Inferenzfehler in Mistral Medium 3.5 adressiert, der in mehreren verbreiteten Implementierungen auftrat – darunter Hugging Face transformers und llama.cpp. Der Bug war nicht auf Unsloth oder dessen Quantisierungen zurückzuführen, sondern auf eine Eigenheit beim Parsen von YaRN-Parametern (Yet another RoPE extensioN), die für Long-Context-Unterstützung zuständig sind. Konkret war der Parameter mscale_all_dim fälschlicherweise auf 1 gesetzt; das Setzen auf 0 behebt das Problem. Unsloth hat aktualisierte GGUF-Dateien mit dem Fix veröffentlicht und dabei zusätzlich einen separaten Fehler bei der Generierung von mmproj-Dateien (Multimodal-Projektionsdateien) korrigiert. Die Zusammenarbeit mit Mistral deutet darauf hin, dass der Fix auch upstream in die offiziellen Modellkonfigurationen einfließen soll.
- Bug betraf mehrere Frameworks gleichzeitig: transformers, llama.cpp und weitere Implementierungen.
- Fix: YaRN-Parameter mscale_all_dim von 1 auf 0 geändert — nicht modellspezifisch für Unsloth-Quants.
- Unsloth hat aktualisierte GGUF-Dateien mit dem Bugfix veröffentlicht.
- Zusätzlich wurde ein Fehler bei der Generierung von mmproj-Dateien (Multimodal) behoben.
- Fix entstand in Kooperation zwischen Unsloth und Mistral.
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.
Verwandte Beiträge
- MEINUNGreddit.com3d
Praxisbericht: Mistral Medium 3.5 (128B) als lokales Coding-Modell
- MEINUNGreddit.com0mo
MiniMax M3 GGUF: Sparse Attention nicht unterstützt, Fallback auf Dense Attention
- FORSCHUNGreddit.com15h
llama.cpp-Bug: Tesla P100 rechnete jahrelang in falscher Präzision
- LAUNCHreddit.com3w
vLLM: Neuer Streaming-Parser für Qwen3 behebt Abbruch- und Tool-Call-Fehler
Unsloth und Mistral beheben Inferenz-Bug in Mistral Medium 3.5
Am 1. Mai 2026 veröffentlichte Unsloth ein Update, das einen Inferenzfehler in Mistral Medium 3.5 adressiert, der in mehreren verbreiteten Implementierungen auftrat – darunter Hugging Face transformers und llama.cpp. Der Bug war nicht auf Unsloth oder dessen Quantisierungen zurückzuführen, sondern auf eine Eigenheit beim Parsen von YaRN-Parametern (Yet another RoPE extensioN), die für Long-Context-Unterstützung zuständig sind. Konkret war der Parameter mscale_all_dim fälschlicherweise auf 1 gesetzt; das Setzen auf 0 behebt das Problem. Unsloth hat aktualisierte GGUF-Dateien mit dem Fix veröffentlicht und dabei zusätzlich einen separaten Fehler bei der Generierung von mmproj-Dateien (Multimodal-Projektionsdateien) korrigiert. Die Zusammenarbeit mit Mistral deutet darauf hin, dass der Fix auch upstream in die offiziellen Modellkonfigurationen einfließen soll.
- Bug betraf mehrere Frameworks gleichzeitig: transformers, llama.cpp und weitere Implementierungen.
- Fix: YaRN-Parameter mscale_all_dim von 1 auf 0 geändert — nicht modellspezifisch für Unsloth-Quants.
- Unsloth hat aktualisierte GGUF-Dateien mit dem Bugfix veröffentlicht.
- Zusätzlich wurde ein Fehler bei der Generierung von mmproj-Dateien (Multimodal) behoben.
- Fix entstand in Kooperation zwischen Unsloth und Mistral.
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.
Verwandte Beiträge
- MEINUNGreddit.com3d
Praxisbericht: Mistral Medium 3.5 (128B) als lokales Coding-Modell
- MEINUNGreddit.com0mo
MiniMax M3 GGUF: Sparse Attention nicht unterstützt, Fallback auf Dense Attention
- FORSCHUNGreddit.com15h
llama.cpp-Bug: Tesla P100 rechnete jahrelang in falscher Präzision
- LAUNCHreddit.com3w
vLLM: Neuer Streaming-Parser für Qwen3 behebt Abbruch- und Tool-Call-Fehler