Ornith-1.0-35B als Q3_K_M-Quant: 17 GB VRAM, KLD-validiert
Warum es zählt
Das 35B-Modell passt nun auf Consumer-GPUs mit 24 GB VRAM oder weniger. Die KLD-Validierung gegen BF16 über 32 Coding-Prompts macht die Qualitätseinbußen messbar; ein llama.cpp-Bug beim Reasoning-Mode wurde ebenfalls behoben und dokumentiert.
— Lumeric Redaktion
KL-Divergenz vs. BF16 (Top-64 Next-Token, 32 Coding Prompts) · Spitzenwert
0.366%
Q3_K_M
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.
Verwandte Beiträge
Ornith-1.0-35B als Q3_K_M-Quant: 17 GB VRAM, KLD-validiert
Warum es zählt
Das 35B-Modell passt nun auf Consumer-GPUs mit 24 GB VRAM oder weniger. Die KLD-Validierung gegen BF16 über 32 Coding-Prompts macht die Qualitätseinbußen messbar; ein llama.cpp-Bug beim Reasoning-Mode wurde ebenfalls behoben und dokumentiert.
— Lumeric Redaktion
KL-Divergenz vs. BF16 (Top-64 Next-Token, 32 Coding Prompts) · Spitzenwert
0.366%
Q3_K_M
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.