LLM 0.32a0: Simon Willisons CLI-Tool erhält strukturiertes Message- und Streaming-API
LLM ist eine seit April 2023 von Simon Willison entwickelte Open-Source-Python-Bibliothek und CLI, die über ein Plugin-System Zugriff auf tausende Sprachmodelle bietet. Das bisherige Kernmodell — ein Text-Prompt erzeugt eine Text-Antwort — stieß zunehmend an Grenzen, da moderne Frontier-Modelle multimodale Eingaben (Bild, Audio, Video), strukturierte JSON-Ausgaben, Tool-Calls und sogar Bild-Rückgaben unterstützen. Version 0.32a0 führt zwei grundlegende API-Änderungen ein: Erstens können Eingaben nun als geordnete Sequenz von user()- und assistant()-Nachrichten übergeben werden, was das Einspeisen vorhandener Gesprächsverläufe ermöglicht und z. B. den Bau eines OpenAI-Chat-Completions-kompatiblen Endpoints deutlich vereinfacht. Zweitens werden Streaming-Antworten als typisierter Event-Stream modelliert, sodass Text-Chunks, Tool-Call-Namen, Tool-Outputs und künftig auch Bild- oder Audio-Segmente sauber unterschieden werden können. Die bisherige prompt=-Schnittstelle bleibt vollständig erhalten (backwards-compatible), wird intern jedoch auf das neue messages-Array abgebildet. Neu ist außerdem response.reply(), mit dem direkt auf eine Antwort geantwortet werden kann, ohne explizit ein Conversation-Objekt zu verwalten. Der Release trägt Alpha-Status; stabile API-Garantien gelten erst ab 0.32.0.
- Plugin-System deckt tausende Modelle ab; bestehende Plugins bleiben durch Backwards-Compatibility weiter funktionsfähig.
- Neue Builder-Funktionen llm.user() und llm.assistant() erlauben das Zusammenstellen beliebiger Gesprächsverläufe vor dem API-Call.
- stream_events() liefert typisierte Events: 'text', 'tool_call_name' u. a. — geeignet für Server-seitige Tools wie OpenAIs Code Interpreter oder Anthropics Web Search.
- Antworten können per response.reply() direkt fortgesetzt werden, ohne SQLite-Speicherschicht oder Conversation-Objekt.
- Entwicklungsbeginn der Bibliothek war April 2023; 0.32a0 ist das bisher größte Refactoring des Kernmodells.
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.
Verwandte Beiträge
LLM 0.32a0: Simon Willisons CLI-Tool erhält strukturiertes Message- und Streaming-API
LLM ist eine seit April 2023 von Simon Willison entwickelte Open-Source-Python-Bibliothek und CLI, die über ein Plugin-System Zugriff auf tausende Sprachmodelle bietet. Das bisherige Kernmodell — ein Text-Prompt erzeugt eine Text-Antwort — stieß zunehmend an Grenzen, da moderne Frontier-Modelle multimodale Eingaben (Bild, Audio, Video), strukturierte JSON-Ausgaben, Tool-Calls und sogar Bild-Rückgaben unterstützen. Version 0.32a0 führt zwei grundlegende API-Änderungen ein: Erstens können Eingaben nun als geordnete Sequenz von user()- und assistant()-Nachrichten übergeben werden, was das Einspeisen vorhandener Gesprächsverläufe ermöglicht und z. B. den Bau eines OpenAI-Chat-Completions-kompatiblen Endpoints deutlich vereinfacht. Zweitens werden Streaming-Antworten als typisierter Event-Stream modelliert, sodass Text-Chunks, Tool-Call-Namen, Tool-Outputs und künftig auch Bild- oder Audio-Segmente sauber unterschieden werden können. Die bisherige prompt=-Schnittstelle bleibt vollständig erhalten (backwards-compatible), wird intern jedoch auf das neue messages-Array abgebildet. Neu ist außerdem response.reply(), mit dem direkt auf eine Antwort geantwortet werden kann, ohne explizit ein Conversation-Objekt zu verwalten. Der Release trägt Alpha-Status; stabile API-Garantien gelten erst ab 0.32.0.
- Plugin-System deckt tausende Modelle ab; bestehende Plugins bleiben durch Backwards-Compatibility weiter funktionsfähig.
- Neue Builder-Funktionen llm.user() und llm.assistant() erlauben das Zusammenstellen beliebiger Gesprächsverläufe vor dem API-Call.
- stream_events() liefert typisierte Events: 'text', 'tool_call_name' u. a. — geeignet für Server-seitige Tools wie OpenAIs Code Interpreter oder Anthropics Web Search.
- Antworten können per response.reply() direkt fortgesetzt werden, ohne SQLite-Speicherschicht oder Conversation-Objekt.
- Entwicklungsbeginn der Bibliothek war April 2023; 0.32a0 ist das bisher größte Refactoring des Kernmodells.
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.