Audit: 64 von 443 GGUF-Quants sind nicht das, was ihr Dateiname verspricht
CompaniesHugging Face
Warum es zählt
Wer GGUF-Quants nach Dateiname oder Modellkarte auswählt, kann auf Modellen sitzen, die de facto deutlich größer sind als erwartet — bei Nemotron-3.5-Lightning z.B. 4,58 statt 2,06 bpw. Ein Python-Tool (stdlib only) ermöglicht lokale und remote Überprüfung ohne vollständigen Download.
— Lumeric Redaktion
GGUF bpw Claimed vs. Measured (Nemotron-3.5-Lightning IQ2-Rungs) · Spitzenwert
2.06%
IQ2_XXS (claimed 2.06 bpw)
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.
Verwandte Beiträge
- FORSCHUNGarxiv.org2w
Sicherheitslücke in quantisierten LLM-Supply-Chains: Verifiability Gap gemessen
- MEINUNGreddit.com1w
ASCII-Pruning reduziert Qwen3.8 27B GGUF um 0,6 GB
- MEINUNGreddit.com2d
Statistically Lossless GGUFs für Qwen3.8 27B veröffentlicht
- MEINUNGreddit.com4d
Warnung: Quant-Modelle auf HuggingFace könnten verschwinden – Backup empfohlen
Audit: 64 von 443 GGUF-Quants sind nicht das, was ihr Dateiname verspricht
CompaniesHugging Face
Warum es zählt
Wer GGUF-Quants nach Dateiname oder Modellkarte auswählt, kann auf Modellen sitzen, die de facto deutlich größer sind als erwartet — bei Nemotron-3.5-Lightning z.B. 4,58 statt 2,06 bpw. Ein Python-Tool (stdlib only) ermöglicht lokale und remote Überprüfung ohne vollständigen Download.
— Lumeric Redaktion
GGUF bpw Claimed vs. Measured (Nemotron-3.5-Lightning IQ2-Rungs) · Spitzenwert
2.06%
IQ2_XXS (claimed 2.06 bpw)
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.
Verwandte Beiträge
- FORSCHUNGarxiv.org2w
Sicherheitslücke in quantisierten LLM-Supply-Chains: Verifiability Gap gemessen
- MEINUNGreddit.com1w
ASCII-Pruning reduziert Qwen3.8 27B GGUF um 0,6 GB
- MEINUNGreddit.com2d
Statistically Lossless GGUFs für Qwen3.8 27B veröffentlicht
- MEINUNGreddit.com4d
Warnung: Quant-Modelle auf HuggingFace könnten verschwinden – Backup empfohlen