LocalLLaMA-Community diskutiert Context- und Memory-Plugins für pi.dev mit lokalen Modellen
Der Reddit-Nutzer darksteelsteed betreibt Qwen3.8:27B im NVFP4-Format über llama.cpp auf einer RTX 5080 mit 16 GB VRAM und hat einen 48k-Kontext konfiguriert (49.152 Token). Mit einem llama-server-Build (llama-b10699) läuft das Modell mit rund 12 Tokens pro Sekunde, jedoch bricht pi.dev Konversationen vorzeitig ab, wenn der Kontext nicht rechtzeitig komprimiert wird. Drei Plugins wurden getestet: max-context funktionierte laut Bericht gar nicht, pi-observational-memory schaffte zwar vier automatische Compaction-Durchläufe mit einem Schwellenwert von 0,75, scheiterte aber dennoch am kritischen Moment, und pi-blackhole kompaktierte überhaupt nicht. Erschwerend kommt hinzu, dass die Compaction-Einstellungen in pi.dev architektonisch vom Modellprofil entkoppelt sind — bei jedem Modellwechsel (etwa zu Gemma oder anderen Qwen-Varianten) müssen Parameter manuell neu gesetzt werden. Der Nutzer kritisiert, dass viele der auf pi.dev/packages gelisteten Plugins offenbar primär für Frontier-Modelle mit großen Kontextfenstern ausgelegt sind, nicht für VRAM-limitierte Setups mit kleineren Fenstern. Anfragen an Google, OpenAI und Copilot um Hilfe blieben laut Bericht ohne verwertbare Antworten.
- llama-server-Kommandozeile nutzt Cache-Typen q4_0 (Keys) und iq4_nl (Values) sowie Flash Attention, Batch-Größe 512 und 16 Threads.
- Das NVFP4-GGUF-Modell stammt vom HuggingFace-Account williamliao (williamliao/Qwen3.8-27B-NVFP4-GGUF:NVFP4).
- pi-observational-memory wurde mit compact-on-threshold und einem Ratio von 0,75 konfiguriert — trotzdem trat Compaction-Fehler auf.
- Der Nutzer plant, neben Qwen3.8:27B auch Gemma und andere Qwen-Modelle je nach Anwendungsfall einzusetzen, was das Profil-Problem verschärft.
- Auf pi.dev/packages existieren laut Beitrag sehr viele Plugins für Kontext-, Compaction- und Memory-Management, ohne klare Kategorisierung nach Modellgröße oder VRAM-Anforderungen.
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.
LocalLLaMA-Community diskutiert Context- und Memory-Plugins für pi.dev mit lokalen Modellen
Der Reddit-Nutzer darksteelsteed betreibt Qwen3.8:27B im NVFP4-Format über llama.cpp auf einer RTX 5080 mit 16 GB VRAM und hat einen 48k-Kontext konfiguriert (49.152 Token). Mit einem llama-server-Build (llama-b10699) läuft das Modell mit rund 12 Tokens pro Sekunde, jedoch bricht pi.dev Konversationen vorzeitig ab, wenn der Kontext nicht rechtzeitig komprimiert wird. Drei Plugins wurden getestet: max-context funktionierte laut Bericht gar nicht, pi-observational-memory schaffte zwar vier automatische Compaction-Durchläufe mit einem Schwellenwert von 0,75, scheiterte aber dennoch am kritischen Moment, und pi-blackhole kompaktierte überhaupt nicht. Erschwerend kommt hinzu, dass die Compaction-Einstellungen in pi.dev architektonisch vom Modellprofil entkoppelt sind — bei jedem Modellwechsel (etwa zu Gemma oder anderen Qwen-Varianten) müssen Parameter manuell neu gesetzt werden. Der Nutzer kritisiert, dass viele der auf pi.dev/packages gelisteten Plugins offenbar primär für Frontier-Modelle mit großen Kontextfenstern ausgelegt sind, nicht für VRAM-limitierte Setups mit kleineren Fenstern. Anfragen an Google, OpenAI und Copilot um Hilfe blieben laut Bericht ohne verwertbare Antworten.
- llama-server-Kommandozeile nutzt Cache-Typen q4_0 (Keys) und iq4_nl (Values) sowie Flash Attention, Batch-Größe 512 und 16 Threads.
- Das NVFP4-GGUF-Modell stammt vom HuggingFace-Account williamliao (williamliao/Qwen3.8-27B-NVFP4-GGUF:NVFP4).
- pi-observational-memory wurde mit compact-on-threshold und einem Ratio von 0,75 konfiguriert — trotzdem trat Compaction-Fehler auf.
- Der Nutzer plant, neben Qwen3.8:27B auch Gemma und andere Qwen-Modelle je nach Anwendungsfall einzusetzen, was das Profil-Problem verschärft.
- Auf pi.dev/packages existieren laut Beitrag sehr viele Plugins für Kontext-, Compaction- und Memory-Management, ohne klare Kategorisierung nach Modellgröße oder VRAM-Anforderungen.
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.