GGUF-Quants für Hy3 295B MoE und NVIDIA Nemotron-Labs-Audex-30B veröffentlicht
Warum es zählt
Hy3 Q4_K_M (167 GiB) passt auf 2× 96-GB-GPUs und liefert 67 tok/s; Nemotron-Audex Q4_K_M läuft mit 345 tok/s und ~2× BF16-Speed. Das Audio-Track benötigt allerdings noch ein separates Sidecar – kein einheitliches Audio-GGUF-Runtime vorhanden.
— Lumeric Redaktion
Hy3 295B – Mean KLD vs. BF16 (WikiText-2) · Spitzenwert
0.0207%
Q6_K
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.
Verwandte Beiträge
GGUF-Quants für Hy3 295B MoE und NVIDIA Nemotron-Labs-Audex-30B veröffentlicht
Warum es zählt
Hy3 Q4_K_M (167 GiB) passt auf 2× 96-GB-GPUs und liefert 67 tok/s; Nemotron-Audex Q4_K_M läuft mit 345 tok/s und ~2× BF16-Speed. Das Audio-Track benötigt allerdings noch ein separates Sidecar – kein einheitliches Audio-GGUF-Runtime vorhanden.
— Lumeric Redaktion
Hy3 295B – Mean KLD vs. BF16 (WikiText-2) · Spitzenwert
0.0207%
Q6_K
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.