Mistral Medium 3.5 128B: Fehlerhafte GGUF-Dateien bei Unsloth korrigiert
Nutzer /u/Sunija_Dev meldete auf r/LocalLLaMA, dass sämtliche GGUF-Quantisierungen des Mistral Medium 3.5 128B-Modells, die über Unsloths Hugging-Face-Repository bereitgestellt wurden, fehlerhaft waren. Die defekten Dateien erzeugten inkohärente Ausgaben – insbesondere bei langen Kontextfenstern. Unsloth hat das Problem inzwischen behoben und aktualisierte GGUFs veröffentlicht; die Korrektur wurde in einem eigenen Discussion-Thread auf Hugging Face angekündigt. Laut Ersterfahrungen des Reporters ist das Modell nach dem Fix deutlich stabiler: Selbst bei falsch formatiertem Prompt-Format, das zuvor schnell zu Kauderwelsch führte, bleibt die aktualisierte Version kohärent. Betroffen waren alle Quantisierungsstufen im Repository; Nutzer mit bereits heruntergeladenen GGUFs müssen die Dateien erneut beziehen.
- Alle Quantisierungsstufen der Unsloth-GGUFs von Mistral Medium 3.5 128B waren betroffen.
- Fehler äußerte sich vor allem bei langem Kontext als inkohärente oder wirre Ausgaben.
- Auch bei kurzem Kontext und falschem Prompt-Format kam es zu Qualitätsproblemen.
- Fix und Ankündigung über Hugging-Face-Discussions im Unsloth-Repository veröffentlicht.
- Nutzer müssen bereits heruntergeladene GGUF-Dateien durch die korrigierten Versionen ersetzen.
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.
Verwandte Beiträge
- LAUNCHreddit.com3w
Unsloth und Mistral beheben Inferenz-Bug in Mistral Medium 3.5
- LAUNCHreddit.com3w
Gemma-4-GGUF-Modelle mit aktualisiertem Chat-Template verfügbar
- MEINUNGreddit.com6d
GGUF-Performance-Einbrüche durch beschädigte Modelldateien – SHA256 als Diagnose
- MEINUNGreddit.com2h
vLLM vs. llama.cpp: 5×-Prefill-Speed, aber GGUF-Kompatibilität fehlt
Mistral Medium 3.5 128B: Fehlerhafte GGUF-Dateien bei Unsloth korrigiert
Nutzer /u/Sunija_Dev meldete auf r/LocalLLaMA, dass sämtliche GGUF-Quantisierungen des Mistral Medium 3.5 128B-Modells, die über Unsloths Hugging-Face-Repository bereitgestellt wurden, fehlerhaft waren. Die defekten Dateien erzeugten inkohärente Ausgaben – insbesondere bei langen Kontextfenstern. Unsloth hat das Problem inzwischen behoben und aktualisierte GGUFs veröffentlicht; die Korrektur wurde in einem eigenen Discussion-Thread auf Hugging Face angekündigt. Laut Ersterfahrungen des Reporters ist das Modell nach dem Fix deutlich stabiler: Selbst bei falsch formatiertem Prompt-Format, das zuvor schnell zu Kauderwelsch führte, bleibt die aktualisierte Version kohärent. Betroffen waren alle Quantisierungsstufen im Repository; Nutzer mit bereits heruntergeladenen GGUFs müssen die Dateien erneut beziehen.
- Alle Quantisierungsstufen der Unsloth-GGUFs von Mistral Medium 3.5 128B waren betroffen.
- Fehler äußerte sich vor allem bei langem Kontext als inkohärente oder wirre Ausgaben.
- Auch bei kurzem Kontext und falschem Prompt-Format kam es zu Qualitätsproblemen.
- Fix und Ankündigung über Hugging-Face-Discussions im Unsloth-Repository veröffentlicht.
- Nutzer müssen bereits heruntergeladene GGUF-Dateien durch die korrigierten Versionen ersetzen.
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.
Verwandte Beiträge
- LAUNCHreddit.com3w
Unsloth und Mistral beheben Inferenz-Bug in Mistral Medium 3.5
- LAUNCHreddit.com3w
Gemma-4-GGUF-Modelle mit aktualisiertem Chat-Template verfügbar
- MEINUNGreddit.com6d
GGUF-Performance-Einbrüche durch beschädigte Modelldateien – SHA256 als Diagnose
- MEINUNGreddit.com2h
vLLM vs. llama.cpp: 5×-Prefill-Speed, aber GGUF-Kompatibilität fehlt