wird geladen

Hessian-Refinement für GGUF: 13% bessere Quants ohne Patches · Lumeric

Feed
Digest
Lounge
Stash
Profil

Beitrag

FORSCHUNG

reddit.com· r/LocalLLaMA3h

Hessian-Refinement für GGUF: 13% bessere Quants ohne Patches

ToolsWhisper Gemini Qwen Llama Hugging Face

CompaniesHugging Face Google DeepMind

Warum es zählt

Die verbesserten Quants erfordern keine Änderungen an llama.cpp oder anderer Inferenzsoftware – einfach die GGUF-Datei tauschen. Die Methode funktioniert für Text-, Bild- und Whisper-Modelle gleichermaßen und kostet keine extra Rechenzeit oder VRAM.

— Lumeric Redaktion

Quelle lesenreddit.com

13,23% weniger KL-Divergenz

vs. Unsloth-Quant auf Qwen3.8-27B

Open Source Inferenz Infra Post Training

Frag die KI zum Artikel

Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.

Verwandte Beiträge

BENCHMARKreddit.com2d
MACaQ: Open-Source-Quantisierung schlägt Unsloth und Bartowski GGUFs
FORSCHUNGreddit.com3w
Neue Quantisierungstypen für llama.cpp: IQ2_K bis IQ6_K vorgeschlagen
FORSCHUNGhuggingface.co2d
MACaQ: Schnelle modell-agnostische W4A4-Quantisierung für Gewichte und Aktivierungen
LAUNCHreddit.com2w
ISTA-DASLab veröffentlicht DeepSeek-V4.1-Flash-1017 mit GSQ-RCO-Quantisierung

FORSCHUNG

reddit.com· r/LocalLLaMA3h

Hessian-Refinement für GGUF: 13% bessere Quants ohne Patches

ToolsWhisper Gemini Qwen Llama Hugging Face

CompaniesHugging Face Google DeepMind

Warum es zählt

Die verbesserten Quants erfordern keine Änderungen an llama.cpp oder anderer Inferenzsoftware – einfach die GGUF-Datei tauschen. Die Methode funktioniert für Text-, Bild- und Whisper-Modelle gleichermaßen und kostet keine extra Rechenzeit oder VRAM.

— Lumeric Redaktion

13,23% weniger KL-Divergenz

vs. Unsloth-Quant auf Qwen3.8-27B

Frag die KI zum Artikel

Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.

Quelle lesenreddit.com

Themen

Open Source Inferenz Infra Post Training

Reaktion

Speichern

Verwandte Beiträge

BENCHMARKreddit.com2d
MACaQ: Open-Source-Quantisierung schlägt Unsloth und Bartowski GGUFs
FORSCHUNGreddit.com3w
Neue Quantisierungstypen für llama.cpp: IQ2_K bis IQ6_K vorgeschlagen
FORSCHUNGhuggingface.co2d
MACaQ: Schnelle modell-agnostische W4A4-Quantisierung für Gewichte und Aktivierungen
LAUNCHreddit.com2w
ISTA-DASLab veröffentlicht DeepSeek-V4.1-Flash-1017 mit GSQ-RCO-Quantisierung