Dokumentenredaktion mit lokalem Qwen 3.6 27B via Pi-Agenten-Harness
Der Entwickler baut auf einem früheren Experiment auf, bei dem Sonnet 4.6 die Redaktionsaufgaben gut bewältigte, Qwen 3.6 27B lokal jedoch noch scheiterte. Kernproblem war damals eine zu niedrige Quantisierung (Q4), die laut Post die Code-Qualität des Modells so weit degradierte, dass agentenbasierte Redaktion nicht verlässlich funktionierte. Nach Umstieg auf Q6 (konkret: Qwen3.6-27B-UD-Q6_K_XL.gguf via Unsloth) und Optimierung des Prompting-Stacks lieferte das Modell akzeptable Ergebnisse. Das Pi-Agenten-Framework dient dabei als minimaler Harness, der dem Modell Werkzeuge wie API-Zugriff, Datei- und Code-Schreibfunktionen sowie spezialisierte Skills zur Verfügung stellt. Qwen 3.6 27B übernimmt eine Doppelrolle: Es fungiert gleichzeitig als agentisches Steuermodell und als VLM für aufgaben wie Gesichts- und Unterschriftenerkennung. Die Gradio-UI ermöglicht es Nutzern, Dokumente hochzuladen, eigene Redaktionsanweisungen einzugeben und dem Agenten während der Ausführung Steuerungsnachrichten zu senden. Der Kontext ist mit 114.688 Tokens bei KV-Cache-Quantisierung auf 8 Bit konfiguriert, womit auch längere Dokumente verarbeitbar sind. Technisch läuft alles über ein Docker-Compose-Setup auf einem System mit 40 GB VRAM; die UI lässt sich alternativ auch mit einem kostenlosen Gemini-API-Schlüssel testen.
- Modell-Datei: Qwen3.6-27B-UD-Q6_K_XL.gguf (Unsloth), Kontextfenster 114.688 Tokens, KV-Cache auf 8 Bit quantisiert.
- Sampling-Parameter: Temperatur 0,7 / Top-K 20 / Top-P 0,95 / Frequency Penalty 1,0 — explizit im Docker-Compose-Befehl gesetzt.
- Qwen 3.6 27B agiert als VLM für Gesichts- und Unterschriftenerkennung innerhalb derselben Redaktions-Pipeline.
- Die Gradio-UI streamt Tool-Aufrufe und Denkschritte des Agenten live in ein Chatfenster; Nutzer können während der Ausführung Steuernachrichten senden.
- Der gesamte Code (doc_redaction-Repo) umfasst sowohl die Agentic-Redaction-App als auch die eigenständige Redaction-App, die der Agent als Werkzeug aufruft.
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.
Verwandte Beiträge
Dokumentenredaktion mit lokalem Qwen 3.6 27B via Pi-Agenten-Harness
Der Entwickler baut auf einem früheren Experiment auf, bei dem Sonnet 4.6 die Redaktionsaufgaben gut bewältigte, Qwen 3.6 27B lokal jedoch noch scheiterte. Kernproblem war damals eine zu niedrige Quantisierung (Q4), die laut Post die Code-Qualität des Modells so weit degradierte, dass agentenbasierte Redaktion nicht verlässlich funktionierte. Nach Umstieg auf Q6 (konkret: Qwen3.6-27B-UD-Q6_K_XL.gguf via Unsloth) und Optimierung des Prompting-Stacks lieferte das Modell akzeptable Ergebnisse. Das Pi-Agenten-Framework dient dabei als minimaler Harness, der dem Modell Werkzeuge wie API-Zugriff, Datei- und Code-Schreibfunktionen sowie spezialisierte Skills zur Verfügung stellt. Qwen 3.6 27B übernimmt eine Doppelrolle: Es fungiert gleichzeitig als agentisches Steuermodell und als VLM für aufgaben wie Gesichts- und Unterschriftenerkennung. Die Gradio-UI ermöglicht es Nutzern, Dokumente hochzuladen, eigene Redaktionsanweisungen einzugeben und dem Agenten während der Ausführung Steuerungsnachrichten zu senden. Der Kontext ist mit 114.688 Tokens bei KV-Cache-Quantisierung auf 8 Bit konfiguriert, womit auch längere Dokumente verarbeitbar sind. Technisch läuft alles über ein Docker-Compose-Setup auf einem System mit 40 GB VRAM; die UI lässt sich alternativ auch mit einem kostenlosen Gemini-API-Schlüssel testen.
- Modell-Datei: Qwen3.6-27B-UD-Q6_K_XL.gguf (Unsloth), Kontextfenster 114.688 Tokens, KV-Cache auf 8 Bit quantisiert.
- Sampling-Parameter: Temperatur 0,7 / Top-K 20 / Top-P 0,95 / Frequency Penalty 1,0 — explizit im Docker-Compose-Befehl gesetzt.
- Qwen 3.6 27B agiert als VLM für Gesichts- und Unterschriftenerkennung innerhalb derselben Redaktions-Pipeline.
- Die Gradio-UI streamt Tool-Aufrufe und Denkschritte des Agenten live in ein Chatfenster; Nutzer können während der Ausführung Steuernachrichten senden.
- Der gesamte Code (doc_redaction-Repo) umfasst sowohl die Agentic-Redaction-App als auch die eigenständige Redaction-App, die der Agent als Werkzeug aufruft.
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.