llama.cpp PR #23861: VRAM-Einsparung durch begrenzte Logits-Reservierung
PR #23861 von Nutzer am17an für ggml-org/llama.cpp setzt auf dem vorherigen Issue #23764 auf und adressiert ineffiziente Speicherreservierung im `llama_context`. Bisher wurden Logits für alle möglichen Tokens im Kontext vorgehalten; der neue Ansatz reserviert den Speicher nur noch für die tatsächliche Anzahl aktiver Sequenzen (n_seqs). In der Praxis spart dies bei einer Konfiguration mit `-ub 2048` und aktiviertem MTP (Multi-Token Prediction) bis zu 1,2 GB VRAM. Das API-Design sieht vor, dass standardmäßig weiterhin alle Tokens reserviert werden, der Server-Kontext jedoch gezielt auf einen Wert von 1 reduzieren kann. Der PR wurde mit `llama-perplexity` erfolgreich getestet und ist zunächst als Draft eingereicht, da die finale API-Gestaltung noch offen diskutiert wird.
- PR setzt auf Issue #23764 auf und schränkt Logits-Ausgabe auf n_seqs ein
- Einsparung von 1,2 GB VRAM getestet bei -ub 2048 kombiniert mit MTP (Multi-Token Prediction)
- Kompatibilität mit llama-perplexity wurde erfolgreich verifiziert
- Standard-Verhalten bleibt unverändert; server-context kann Wert gezielt auf 1 setzen
- PR von am17an eingereicht, aktuell als Draft — API-Design noch in Diskussion
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.
Verwandte Beiträge
- MEINUNGreddit.com3w
llama.cpp: VRAM-Optimierungstricks für größeren Kontext auf der GPU
- LAUNCHreddit.com2w
Bash-Script zur VRAM/RAM-Analyse von llama.cpp vorgestellt
- MEINUNGreddit.com3w
Diskussion: Wie versorgt llama.cpp mehrere User mit vollem Kontext?
- LAUNCHreddit.com2w
llama.cpp: Top-N-Sigma-Optimierung steigert Sampling-Speed um 50 %
llama.cpp PR #23861: VRAM-Einsparung durch begrenzte Logits-Reservierung
PR #23861 von Nutzer am17an für ggml-org/llama.cpp setzt auf dem vorherigen Issue #23764 auf und adressiert ineffiziente Speicherreservierung im `llama_context`. Bisher wurden Logits für alle möglichen Tokens im Kontext vorgehalten; der neue Ansatz reserviert den Speicher nur noch für die tatsächliche Anzahl aktiver Sequenzen (n_seqs). In der Praxis spart dies bei einer Konfiguration mit `-ub 2048` und aktiviertem MTP (Multi-Token Prediction) bis zu 1,2 GB VRAM. Das API-Design sieht vor, dass standardmäßig weiterhin alle Tokens reserviert werden, der Server-Kontext jedoch gezielt auf einen Wert von 1 reduzieren kann. Der PR wurde mit `llama-perplexity` erfolgreich getestet und ist zunächst als Draft eingereicht, da die finale API-Gestaltung noch offen diskutiert wird.
- PR setzt auf Issue #23764 auf und schränkt Logits-Ausgabe auf n_seqs ein
- Einsparung von 1,2 GB VRAM getestet bei -ub 2048 kombiniert mit MTP (Multi-Token Prediction)
- Kompatibilität mit llama-perplexity wurde erfolgreich verifiziert
- Standard-Verhalten bleibt unverändert; server-context kann Wert gezielt auf 1 setzen
- PR von am17an eingereicht, aktuell als Draft — API-Design noch in Diskussion
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.
Verwandte Beiträge
- MEINUNGreddit.com3w
llama.cpp: VRAM-Optimierungstricks für größeren Kontext auf der GPU
- LAUNCHreddit.com2w
Bash-Script zur VRAM/RAM-Analyse von llama.cpp vorgestellt
- MEINUNGreddit.com3w
Diskussion: Wie versorgt llama.cpp mehrere User mit vollem Kontext?
- LAUNCHreddit.com2w
llama.cpp: Top-N-Sigma-Optimierung steigert Sampling-Speed um 50 %