GGUF-Performance-Einbrüche durch beschädigte Modelldateien – SHA256 als Diagnose
Ein Nutzer im r/LocalLLaMA-Subreddit berichtet von plötzlichen, starken Performance-Einbrüchen bei zwei GGUF-Modellen: Qwen3.5-35B-A3B-APEX-I-Quality und einem Unsloth-Modell. Die Token-Generierungsrate fiel dabei von über 20 tg/s auf rund 5 tg/s ab – ein unerwartetes und schwer einzugrenzendes Symptom. Die Ursache stellte sich als Dateibeschädigung heraus, die vermutlich beim manuellen Einbetten von MTP-Layern (Multi-Token Prediction) in die Quelldatei entstanden war. Entdeckt wurde das Problem durch einen SHA256-Prüfsummenvergleich, der eine Abweichung vom erwarteten Hash-Wert anzeigte. Nach dem erneuten Herunterladen der Modelle war das Problem behoben. Der Nutzer empfiehlt als schnellen Diagnoseschritt bei unerklärlichen Leistungsproblemen stets den SHA256-Abgleich durchzuführen, bevor aufwändigere Fehlersuchen begonnen werden.
- Performance-Einbruch: von 20+ tg/s auf ~5 tg/s bei zwei betroffenen GGUF-Modellen
- Betroffen: Qwen3.5-35B-A3B-APEX-I-Quality und ein nicht näher genanntes Unsloth-Modell
- Wahrscheinliche Ursache: manuelles Einbetten von MTP-Layern beschädigte die Quelldatei
- Diagnose: SHA256-Prüfsummenvergleich zeigte Hash-Abweichung – Neu-Download behob das Problem
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.
Verwandte Beiträge
GGUF-Performance-Einbrüche durch beschädigte Modelldateien – SHA256 als Diagnose
Ein Nutzer im r/LocalLLaMA-Subreddit berichtet von plötzlichen, starken Performance-Einbrüchen bei zwei GGUF-Modellen: Qwen3.5-35B-A3B-APEX-I-Quality und einem Unsloth-Modell. Die Token-Generierungsrate fiel dabei von über 20 tg/s auf rund 5 tg/s ab – ein unerwartetes und schwer einzugrenzendes Symptom. Die Ursache stellte sich als Dateibeschädigung heraus, die vermutlich beim manuellen Einbetten von MTP-Layern (Multi-Token Prediction) in die Quelldatei entstanden war. Entdeckt wurde das Problem durch einen SHA256-Prüfsummenvergleich, der eine Abweichung vom erwarteten Hash-Wert anzeigte. Nach dem erneuten Herunterladen der Modelle war das Problem behoben. Der Nutzer empfiehlt als schnellen Diagnoseschritt bei unerklärlichen Leistungsproblemen stets den SHA256-Abgleich durchzuführen, bevor aufwändigere Fehlersuchen begonnen werden.
- Performance-Einbruch: von 20+ tg/s auf ~5 tg/s bei zwei betroffenen GGUF-Modellen
- Betroffen: Qwen3.5-35B-A3B-APEX-I-Quality und ein nicht näher genanntes Unsloth-Modell
- Wahrscheinliche Ursache: manuelles Einbetten von MTP-Layern beschädigte die Quelldatei
- Diagnose: SHA256-Prüfsummenvergleich zeigte Hash-Abweichung – Neu-Download behob das Problem
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.