ShimQuant ermöglicht Nemotron-3.5-Lightning mit 11,77 GiB auf 16-GB-Karte
Warum es zählt
Wer Nemotron-3.5-Lightning auf einer 16-GB-GPU betreiben will, hatte bisher keine nutzbare Option unter ~18 GiB. ShimQuant schließt diese Lücke, erfordert aber einen gepatchten llama.cpp-Build – LM Studio und Ollama werden nicht unterstützt.
— Lumeric Redaktion
HumanEval · Spitzenwert
91.5%
ShimQuant 3.07 bpw (11.77 GiB)
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.
Verwandte Beiträge
ShimQuant ermöglicht Nemotron-3.5-Lightning mit 11,77 GiB auf 16-GB-Karte
Warum es zählt
Wer Nemotron-3.5-Lightning auf einer 16-GB-GPU betreiben will, hatte bisher keine nutzbare Option unter ~18 GiB. ShimQuant schließt diese Lücke, erfordert aber einen gepatchten llama.cpp-Build – LM Studio und Ollama werden nicht unterstützt.
— Lumeric Redaktion
HumanEval · Spitzenwert
91.5%
ShimQuant 3.07 bpw (11.77 GiB)
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.