llama.cpp: -ngl -1 vs. all – GPU-Offloading-Bug kostet 21% Token-Speed
Warum es zählt
Wer llama.cpp mit -ngl -1 betreibt und unerwartet hohe CPU-Last beobachtet, sollte auf -ngl all wechseln. Der Unterschied kann bis zu ~27% mehr Token-Throughput bringen, ohne Hardware- oder Modellwechsel.
— Lumeric Redaktion
76 t/s vs. 60 t/s
Token-Speed mit -ngl all vs. -ngl -1
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.
Verwandte Beiträge
llama.cpp: -ngl -1 vs. all – GPU-Offloading-Bug kostet 21% Token-Speed
Warum es zählt
Wer llama.cpp mit -ngl -1 betreibt und unerwartet hohe CPU-Last beobachtet, sollte auf -ngl all wechseln. Der Unterschied kann bis zu ~27% mehr Token-Throughput bringen, ohne Hardware- oder Modellwechsel.
— Lumeric Redaktion
76 t/s vs. 60 t/s
Token-Speed mit -ngl all vs. -ngl -1
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.