llama.cpp PR #23861: VRAM-Einsparung durch begrenzte Logits-Reservierung
PR #23861 von Nutzer am17an für ggml-org/llama.cpp setzt auf dem vorherigen Issue #23764 auf und adressiert ineffiziente Speicherreservierung im `llama_context`. Bisher wurden Logits für alle möglichen Tokens im Kontext vorgehalten; der neue Ansatz reserviert den Speicher nur noch für die tatsächliche Anzahl aktiver Sequenzen (n_seqs). In der Praxis spart dies bei einer Konfiguration mit `-ub 2048` und aktiviertem MTP (Multi-Token Prediction) bis zu 1,2 GB VRAM. Das API-Design sieht vor, dass standardmäßig weiterhin alle Tokens reserviert werden, der Server-Kontext jedoch gezielt auf einen Wert von 1 reduzieren kann. Der PR wurde mit `llama-perplexity` erfolgreich getestet und ist zunächst als Draft eingereicht, da die finale API-Gestaltung noch offen diskutiert wird.
- PR setzt auf Issue #23764 auf und schränkt Logits-Ausgabe auf n_seqs ein
- Einsparung von 1,2 GB VRAM getestet bei -ub 2048 kombiniert mit MTP (Multi-Token Prediction)
- Kompatibilität mit llama-perplexity wurde erfolgreich verifiziert
- Standard-Verhalten bleibt unverändert; server-context kann Wert gezielt auf 1 setzen
- PR von am17an eingereicht, aktuell als Draft — API-Design noch in Diskussion
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.
Verwandte Beiträge
- LAUNCHreddit.com2w
Compact Rollback MTP: Mehr Speed und Kontext für QWEN-Modelle auf 16 GB VRAM
- LAUNCHreddit.com2w
llama.cpp: AVX2-Optimierung beschleunigt Prompt-Processing für IQ-Modelle
- LAUNCHreddit.com1w
Adaptives KV-Cache-Streaming für llama.cpp-Fork ermöglicht größere Modelle und Kontexte
- MEINUNGreddit.com1w
llama.cpp: CPU-Last trotz freiem VRAM bei Qwen3-27B auf A5000
llama.cpp PR #23861: VRAM-Einsparung durch begrenzte Logits-Reservierung
PR #23861 von Nutzer am17an für ggml-org/llama.cpp setzt auf dem vorherigen Issue #23764 auf und adressiert ineffiziente Speicherreservierung im `llama_context`. Bisher wurden Logits für alle möglichen Tokens im Kontext vorgehalten; der neue Ansatz reserviert den Speicher nur noch für die tatsächliche Anzahl aktiver Sequenzen (n_seqs). In der Praxis spart dies bei einer Konfiguration mit `-ub 2048` und aktiviertem MTP (Multi-Token Prediction) bis zu 1,2 GB VRAM. Das API-Design sieht vor, dass standardmäßig weiterhin alle Tokens reserviert werden, der Server-Kontext jedoch gezielt auf einen Wert von 1 reduzieren kann. Der PR wurde mit `llama-perplexity` erfolgreich getestet und ist zunächst als Draft eingereicht, da die finale API-Gestaltung noch offen diskutiert wird.
- PR setzt auf Issue #23764 auf und schränkt Logits-Ausgabe auf n_seqs ein
- Einsparung von 1,2 GB VRAM getestet bei -ub 2048 kombiniert mit MTP (Multi-Token Prediction)
- Kompatibilität mit llama-perplexity wurde erfolgreich verifiziert
- Standard-Verhalten bleibt unverändert; server-context kann Wert gezielt auf 1 setzen
- PR von am17an eingereicht, aktuell als Draft — API-Design noch in Diskussion
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.
Verwandte Beiträge
- LAUNCHreddit.com2w
Compact Rollback MTP: Mehr Speed und Kontext für QWEN-Modelle auf 16 GB VRAM
- LAUNCHreddit.com2w
llama.cpp: AVX2-Optimierung beschleunigt Prompt-Processing für IQ-Modelle
- LAUNCHreddit.com1w
Adaptives KV-Cache-Streaming für llama.cpp-Fork ermöglicht größere Modelle und Kontexte
- MEINUNGreddit.com1w
llama.cpp: CPU-Last trotz freiem VRAM bei Qwen3-27B auf A5000