Agent-Harness-Evolution: Vom Modell-Wrapper zur Aufmerksamkeitssteuerung
Dan McAteer zeichnet die Ko-Evolution von Sprachmodellen und ihrem Agent-Harness anhand konkreter Meilensteine nach. Als Ausgangspunkt gilt November 2022: Das ursprüngliche ChatGPT hatte ausschließlich Next-Token-Prediction und RLHF – keine Tools, keine Suche, kein Reasoning. Den konzeptionellen Rahmen für agentic Loops lieferte ReAct (Oktober 2022), damals noch reine Prompting-Technik ohne Verankerung in den Modellgewichten. AutoGPT und BabyAGI (Frühjahr 2023) trieben die Harness-Kurve weit über die Modell-Fähigkeiten hinaus – mit fatalen Folgen: Bei 95 % Zuverlässigkeit pro Schritt ergibt sich über eine 20-Schritt-Aufgabe nur noch eine Erfolgsrate von rund 36 %. Die Reaktion darauf waren Human-in-the-Loop-Ansätze wie Cursor und Copilot, die Autonomie bewusst zurücknahmen. Mit o1 Ende 2024 kippte das Verhältnis erstmals: Zum ersten Mal übertraf die Modell-Fähigkeitskurve die Harness-Kurve. Claude Code (Februar 2025) nutzte diesen Überhang, indem es die IDE verließ, dem Modell direkten Bash- und Dateizugriff gab und damit zeigt, wie Harness-Komponenten sukzessive in die Gewichte wandern. McAteers These: Was nicht absorbiert wird, dient künftig primär der Steuerung menschlicher Aufmerksamkeit, nicht mehr der des Modells.
„The change last winter, last Christmas — it's a little hard to pin down. I mean, the harness changed and a little post-training changed and then new pre-trained models came… but it felt like a big jump which is not that easy to pin down what did it.“
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.
Verwandte Beiträge
Agent-Harness-Evolution: Vom Modell-Wrapper zur Aufmerksamkeitssteuerung
Dan McAteer zeichnet die Ko-Evolution von Sprachmodellen und ihrem Agent-Harness anhand konkreter Meilensteine nach. Als Ausgangspunkt gilt November 2022: Das ursprüngliche ChatGPT hatte ausschließlich Next-Token-Prediction und RLHF – keine Tools, keine Suche, kein Reasoning. Den konzeptionellen Rahmen für agentic Loops lieferte ReAct (Oktober 2022), damals noch reine Prompting-Technik ohne Verankerung in den Modellgewichten. AutoGPT und BabyAGI (Frühjahr 2023) trieben die Harness-Kurve weit über die Modell-Fähigkeiten hinaus – mit fatalen Folgen: Bei 95 % Zuverlässigkeit pro Schritt ergibt sich über eine 20-Schritt-Aufgabe nur noch eine Erfolgsrate von rund 36 %. Die Reaktion darauf waren Human-in-the-Loop-Ansätze wie Cursor und Copilot, die Autonomie bewusst zurücknahmen. Mit o1 Ende 2024 kippte das Verhältnis erstmals: Zum ersten Mal übertraf die Modell-Fähigkeitskurve die Harness-Kurve. Claude Code (Februar 2025) nutzte diesen Überhang, indem es die IDE verließ, dem Modell direkten Bash- und Dateizugriff gab und damit zeigt, wie Harness-Komponenten sukzessive in die Gewichte wandern. McAteers These: Was nicht absorbiert wird, dient künftig primär der Steuerung menschlicher Aufmerksamkeit, nicht mehr der des Modells.
„The change last winter, last Christmas — it's a little hard to pin down. I mean, the harness changed and a little post-training changed and then new pre-trained models came… but it felt like a big jump which is not that easy to pin down what did it.“
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.