Semvec: Konstant-Kosten-Semantikspeicher für LLM-Agenten
Semvec ist eine Python-Bibliothek (PyPI: `semvec`, Python 3.10–3.14), die das klassische Problem explodierender Konversationshistorien in LLM-Anwendungen adressiert. Statt die gesamte Chat-Historie an das Modell zu übergeben, komprimiert Semvec den Kontext in einen festgroßen semantischen Zustandsvektor und verwaltet Erinnerungen in drei Tiers (Short/Medium/Long-Term) mit selektivem Vergessen: Häufig abgerufene ältere Einträge überleben seltener genutzte neuere. Laut dem Entwickler (/u/scheitelpunk1337) ergibt sich in 48-Turn-Benchmarks eine Tokenreduktion von rund 76 %, während strukturierter Zugriff auf Entscheidungen, Fehlermuster und Kontext erhalten bleibt. Semvec fungiert als Drop-in-Proxy für alle OpenAI-kompatiblen Backends (vLLM, Ollama, OpenRouter). Für Coding-Workflows liefert das Paket einen MCP-Server, der persistente Erinnerungen über Claude-Code- und Cursor-Sessions hinweg ermöglicht. Das optionale `semvec[cortex]`-Extra erlaubt Multi-Agenten-Koordination über einen gemeinsamen aggregierten Zustandsvektor. Das Projekt befindet sich aktuell in der Testphase und sucht Community-Feedback.
- 76 % Tokenreduktion in internen 48-Turn-Benchmarks bei konstantem Input-Footprint
- Dreistufiges Memory-Tiering (Short/Medium/Long-Term) mit frequenzbasiertem Vergessen
- Drop-in-Proxy für OpenAI-kompatible Backends: vLLM, Ollama, OpenRouter
- MCP-Server für Claude Code und Cursor out-of-the-box im Paket enthalten
- Multi-Agenten-Koordination via semvec.cortex – Installation: pip install "semvec[cortex,coding]"
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.
Verwandte Beiträge
Semvec: Konstant-Kosten-Semantikspeicher für LLM-Agenten
Semvec ist eine Python-Bibliothek (PyPI: `semvec`, Python 3.10–3.14), die das klassische Problem explodierender Konversationshistorien in LLM-Anwendungen adressiert. Statt die gesamte Chat-Historie an das Modell zu übergeben, komprimiert Semvec den Kontext in einen festgroßen semantischen Zustandsvektor und verwaltet Erinnerungen in drei Tiers (Short/Medium/Long-Term) mit selektivem Vergessen: Häufig abgerufene ältere Einträge überleben seltener genutzte neuere. Laut dem Entwickler (/u/scheitelpunk1337) ergibt sich in 48-Turn-Benchmarks eine Tokenreduktion von rund 76 %, während strukturierter Zugriff auf Entscheidungen, Fehlermuster und Kontext erhalten bleibt. Semvec fungiert als Drop-in-Proxy für alle OpenAI-kompatiblen Backends (vLLM, Ollama, OpenRouter). Für Coding-Workflows liefert das Paket einen MCP-Server, der persistente Erinnerungen über Claude-Code- und Cursor-Sessions hinweg ermöglicht. Das optionale `semvec[cortex]`-Extra erlaubt Multi-Agenten-Koordination über einen gemeinsamen aggregierten Zustandsvektor. Das Projekt befindet sich aktuell in der Testphase und sucht Community-Feedback.
- 76 % Tokenreduktion in internen 48-Turn-Benchmarks bei konstantem Input-Footprint
- Dreistufiges Memory-Tiering (Short/Medium/Long-Term) mit frequenzbasiertem Vergessen
- Drop-in-Proxy für OpenAI-kompatible Backends: vLLM, Ollama, OpenRouter
- MCP-Server für Claude Code und Cursor out-of-the-box im Paket enthalten
- Multi-Agenten-Koordination via semvec.cortex – Installation: pip install "semvec[cortex,coding]"
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.