Unsloth und Mistral beheben Inferenz-Bug in Mistral Medium 3.5
Am 1. Mai 2026 veröffentlichte Unsloth ein Update, das einen Inferenzfehler in Mistral Medium 3.5 adressiert, der in mehreren verbreiteten Implementierungen auftrat – darunter Hugging Face transformers und llama.cpp. Der Bug war nicht auf Unsloth oder dessen Quantisierungen zurückzuführen, sondern auf eine Eigenheit beim Parsen von YaRN-Parametern (Yet another RoPE extensioN), die für Long-Context-Unterstützung zuständig sind. Konkret war der Parameter mscale_all_dim fälschlicherweise auf 1 gesetzt; das Setzen auf 0 behebt das Problem. Unsloth hat aktualisierte GGUF-Dateien mit dem Fix veröffentlicht und dabei zusätzlich einen separaten Fehler bei der Generierung von mmproj-Dateien (Multimodal-Projektionsdateien) korrigiert. Die Zusammenarbeit mit Mistral deutet darauf hin, dass der Fix auch upstream in die offiziellen Modellkonfigurationen einfließen soll.
- Bug betraf mehrere Frameworks gleichzeitig: transformers, llama.cpp und weitere Implementierungen.
- Fix: YaRN-Parameter mscale_all_dim von 1 auf 0 geändert — nicht modellspezifisch für Unsloth-Quants.
- Unsloth hat aktualisierte GGUF-Dateien mit dem Bugfix veröffentlicht.
- Zusätzlich wurde ein Fehler bei der Generierung von mmproj-Dateien (Multimodal) behoben.
- Fix entstand in Kooperation zwischen Unsloth und Mistral.
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.
Verwandte Beiträge
- MEINUNGreddit.com1w
Community fragt: Warum fehlen Safetensor-Quants für Ling-3.0-flash-Fin?
- LAUNCHreddit.com3w
Unsloth aktualisiert Qwen3-235B-A22B GGUF-Dateien auf Hugging Face
- LAUNCHreddit.com1w
Qwen4-Fixes für llama.cpp: Mehrere PRs gemergt, MTP in Arbeit
- MEINUNGreddit.com2w
Community bittet Unsloth: Qwen3 35B und 27B mit UD 3.0 neu quantisieren
Unsloth und Mistral beheben Inferenz-Bug in Mistral Medium 3.5
Am 1. Mai 2026 veröffentlichte Unsloth ein Update, das einen Inferenzfehler in Mistral Medium 3.5 adressiert, der in mehreren verbreiteten Implementierungen auftrat – darunter Hugging Face transformers und llama.cpp. Der Bug war nicht auf Unsloth oder dessen Quantisierungen zurückzuführen, sondern auf eine Eigenheit beim Parsen von YaRN-Parametern (Yet another RoPE extensioN), die für Long-Context-Unterstützung zuständig sind. Konkret war der Parameter mscale_all_dim fälschlicherweise auf 1 gesetzt; das Setzen auf 0 behebt das Problem. Unsloth hat aktualisierte GGUF-Dateien mit dem Fix veröffentlicht und dabei zusätzlich einen separaten Fehler bei der Generierung von mmproj-Dateien (Multimodal-Projektionsdateien) korrigiert. Die Zusammenarbeit mit Mistral deutet darauf hin, dass der Fix auch upstream in die offiziellen Modellkonfigurationen einfließen soll.
- Bug betraf mehrere Frameworks gleichzeitig: transformers, llama.cpp und weitere Implementierungen.
- Fix: YaRN-Parameter mscale_all_dim von 1 auf 0 geändert — nicht modellspezifisch für Unsloth-Quants.
- Unsloth hat aktualisierte GGUF-Dateien mit dem Bugfix veröffentlicht.
- Zusätzlich wurde ein Fehler bei der Generierung von mmproj-Dateien (Multimodal) behoben.
- Fix entstand in Kooperation zwischen Unsloth und Mistral.
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.
Verwandte Beiträge
- MEINUNGreddit.com1w
Community fragt: Warum fehlen Safetensor-Quants für Ling-3.0-flash-Fin?
- LAUNCHreddit.com3w
Unsloth aktualisiert Qwen3-235B-A22B GGUF-Dateien auf Hugging Face
- LAUNCHreddit.com1w
Qwen4-Fixes für llama.cpp: Mehrere PRs gemergt, MTP in Arbeit
- MEINUNGreddit.com2w
Community bittet Unsloth: Qwen3 35B und 27B mit UD 3.0 neu quantisieren