Comet 60B (A12B) als GGUF mit MTP-Head für llama.cpp verfügbar
ToolsLlama
Warum es zählt
Das Modell läuft direkt mit llama.cpp und unterstützt via --spec-type draft-mtp spekulatives Dekodieren, was die Inferenzgeschwindigkeit steigern kann. Nur Text – der Vision-Tower wurde nicht konvertiert.
— Lumeric Redaktion
42,6 GB (Q4_K_M)
GGUF-Größe der komprimierten Variante
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.
Verwandte Beiträge
- LAUNCHreddit.com2w
Ternary Nemotron 30B-A3B: 368K Kontext auf 12-GB-GPU mit 172 tok/s
- LAUNCHreddit.com2w
Unsloth veröffentlicht Ornith-1.5-122B als GGUF-Dateien
- LAUNCHreddit.com3w
NVIDIA veröffentlicht Nemotron-3.5-Super-VL-120B-A12B Modellfamilie
- LAUNCHreddit.com1w
Xing4.0-29B-A4B GGUF-Support via ik_llama.cpp mit nativem MLA-Runtime
Comet 60B (A12B) als GGUF mit MTP-Head für llama.cpp verfügbar
ToolsLlama
Warum es zählt
Das Modell läuft direkt mit llama.cpp und unterstützt via --spec-type draft-mtp spekulatives Dekodieren, was die Inferenzgeschwindigkeit steigern kann. Nur Text – der Vision-Tower wurde nicht konvertiert.
— Lumeric Redaktion
42,6 GB (Q4_K_M)
GGUF-Größe der komprimierten Variante
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.
Verwandte Beiträge
- LAUNCHreddit.com2w
Ternary Nemotron 30B-A3B: 368K Kontext auf 12-GB-GPU mit 172 tok/s
- LAUNCHreddit.com2w
Unsloth veröffentlicht Ornith-1.5-122B als GGUF-Dateien
- LAUNCHreddit.com3w
NVIDIA veröffentlicht Nemotron-3.5-Super-VL-120B-A12B Modellfamilie
- LAUNCHreddit.com1w
Xing4.0-29B-A4B GGUF-Support via ik_llama.cpp mit nativem MLA-Runtime