BerriAI, das Unternehmen hinter dem bekannten LiteLLM AI Gateway, erweitert sein Portfolio mit der LiteLLM Agent Platform. Die Lösung adressiert eine konkrete Lücke: Während AI-Agents in lokalen Skripten einfach zu betreiben sind, stellt der Produktionsbetrieb über mehrere Teams hinweg, über Neustarts und mit kontextisolierten Umgebungen eine deutlich komplexere Herausforderung dar. Die Plattform ist Kubernetes-basiert und selbst gehostet, bietet isolierte Sandboxes pro Agent-Kontext sowie persistentes Session-Management – also die Fähigkeit, Agent-Zustände über Neustarts hinweg zu erhalten. Mit der Open-Source-Veröffentlichung können Entwicklerteams die Infrastruktur direkt in eigene Kubernetes-Cluster integrieren. Die Plattform ergänzt das bestehende LiteLLM Gateway, das bereits als zentraler Proxy für LLM-API-Aufrufe etabliert ist, um eine dedizierte Laufzeit-Schicht für autonome Agenten.