llama.cpp erhält Hy3-Support: GGUF-Quants und PR verfügbar
CompaniesHugging Face
Warum es zählt
Hy3 ist damit sofort lokal nutzbar – Q2_K-Quants laufen bereits stabil auf Consumer-Hardware. Wer das Modell in llama.cpp-Workflows einsetzen will, kann GGUFs von HuggingFace beziehen und den PR testen.
— Lumeric Redaktion
10–11 t/s
Q2_K auf RTX 5090 + Zen 4, 96 GB DDR5
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.
Verwandte Beiträge
llama.cpp erhält Hy3-Support: GGUF-Quants und PR verfügbar
CompaniesHugging Face
Warum es zählt
Hy3 ist damit sofort lokal nutzbar – Q2_K-Quants laufen bereits stabil auf Consumer-Hardware. Wer das Modell in llama.cpp-Workflows einsetzen will, kann GGUFs von HuggingFace beziehen und den PR testen.
— Lumeric Redaktion
10–11 t/s
Q2_K auf RTX 5090 + Zen 4, 96 GB DDR5
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.