Das Kernproblem, das llama-manager löst: llama.cpp erlaubt bislang ausschließlich statische Modellkonfigurationen – Parameter wie KV-Cache-Quantisierung oder Speculative Decoding lassen sich nach dem Start des llama-servers nicht mehr verändern. Der Reddit-Nutzer wadealexc hat deshalb einen Fork von llama.cpp entwickelt, der die Laufzeitkonfiguration entkoppelt: Kontextgröße, Speculative-Decoding-Status und mmproj-Placement können geändert werden, ohne die Modellgewichte neu zu laden oder den KV-Cache zu verwerfen. Technisch geschieht das über zwei neue HTTP-Endpunkte, die das Neubauen von Kontext- und Runtime-Komponenten ermöglichen. llama-manager selbst ist ein schlanker Proxy-Wrapper um diesen Fork, der im Hintergrund überwacht, ob eine Anfrage am Kontextlimit scheitert, und dann automatisch die nächste Strategie aus einer konfigurierbaren „Ladder" auslöst – ohne die laufende Token-Generierung zu unterbrechen. Die Strategie-Leiter für Qwen3.8-27B-UD-Q4_K_XL auf 31 GiB VRAM beginnt bei 167.680 Tokens mit vollem f16-KV-Cache und MTP sowie mmproj auf der GPU; nach drei Stufen (disable-spec, mmproj-to-cpu, quantize-kv-q8) wird ein effektiver Kontextbereich von 262.144 Tokens erreicht. Die Konfiguration erfolgt über eine einfache config.yaml, in der die Reihenfolge der Strategien im Feld „ladder" frei anpassbar ist.