
Was KI-Agenten niemals allein entscheiden sollten
Sara Nóbrega, Autorin des Learn-AI-Newsletters, schildert, wie ein Agent bei einer Repo-Bereinigung ein nicht versioniertes Config-Verzeichnis löschte, weil die Aufgabenbeschreibung „remove unused files" lautete – mit zwei Stunden Rekonstruktionsaufwand als Folge. Ihr Kernargument: Agentic AI braucht keine breiteren Freiheiten, sondern klarere Grenzen. Sie schlägt eine Autonomiematrix vor, die Aufgaben nach Reversibilität und Recovery-Kosten einteilt: Kleine Refactors und Unit-Tests können Agenten eigenständig erledigen, während API-Änderungen, Datenbankmigrationen, Cloud-Infrastruktur (terraform apply, kubectl delete, aws iam *), Produktivdeployments, Auth-/Security-Logik und Secrets stets einen menschlichen Review-Schritt erfordern. Besonders hervorgehoben wird git push --force, das Remote-History überschreibt und andere Contributors-Branches desynchronisiert. Als strukturelle Maßnahme empfiehlt Nóbrega eine AGENTS.md-Datei im Repository-Root, die dem Agenten explizit vorgibt, was er nicht ohne Rückfrage anfassen darf – eine vage oder fehlende Datei führe dazu, dass Agenten Lücken mit eigenen Annahmen füllen, was zu Pfad-Umstrukturierungen mit Kaskadenfehlern führen kann.
- Autonomiematrix teilt Aufgaben nach Reversibilität ein: kleine Refactors = hohe Autonomie, Infra/Security/Prod = Pflicht-Review
- Destruktive Befehle wie `rm -rf`, `git clean -fd`, `git reset --hard` müssen auf einer expliziten Blockliste stehen
- Datenbankoperationen: jedes DELETE ohne WHERE-Clause, DROP oder TRUNCATE erfordert manuelles Review vor Ausführung
- Auth-Logik ist besonders riskant, da Bugs nicht in Unit-Tests auftauchen, sondern erst in Incident-Reports – oft Monate später
- AGENTS.md im Repo-Root als verbindlicher Kontrakt: Projektzweck, Ausführungsregeln und No-Touch-Zonen für den Agenten
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.
Verwandte Beiträge
- MEINUNGtowardsdatascience.com3w
Coding Agents sicher betreiben: YOLO-Modus und Permissions richtig einsetzen
- FORSCHUNGarxiv.org2w
Governance by Design: Sieben Lektionen für skalierbare Agentic-AI-Systeme
- MEINUNGarxiv.org0mo
AI Workflow Store: Plädoyer für robuste, wiederverwendbare Agenten-Workflows
- FORSCHUNGarxiv.org2w
Position Paper: AI Safety braucht Controllability als Kernziel

Was KI-Agenten niemals allein entscheiden sollten
Sara Nóbrega, Autorin des Learn-AI-Newsletters, schildert, wie ein Agent bei einer Repo-Bereinigung ein nicht versioniertes Config-Verzeichnis löschte, weil die Aufgabenbeschreibung „remove unused files" lautete – mit zwei Stunden Rekonstruktionsaufwand als Folge. Ihr Kernargument: Agentic AI braucht keine breiteren Freiheiten, sondern klarere Grenzen. Sie schlägt eine Autonomiematrix vor, die Aufgaben nach Reversibilität und Recovery-Kosten einteilt: Kleine Refactors und Unit-Tests können Agenten eigenständig erledigen, während API-Änderungen, Datenbankmigrationen, Cloud-Infrastruktur (terraform apply, kubectl delete, aws iam *), Produktivdeployments, Auth-/Security-Logik und Secrets stets einen menschlichen Review-Schritt erfordern. Besonders hervorgehoben wird git push --force, das Remote-History überschreibt und andere Contributors-Branches desynchronisiert. Als strukturelle Maßnahme empfiehlt Nóbrega eine AGENTS.md-Datei im Repository-Root, die dem Agenten explizit vorgibt, was er nicht ohne Rückfrage anfassen darf – eine vage oder fehlende Datei führe dazu, dass Agenten Lücken mit eigenen Annahmen füllen, was zu Pfad-Umstrukturierungen mit Kaskadenfehlern führen kann.
- Autonomiematrix teilt Aufgaben nach Reversibilität ein: kleine Refactors = hohe Autonomie, Infra/Security/Prod = Pflicht-Review
- Destruktive Befehle wie `rm -rf`, `git clean -fd`, `git reset --hard` müssen auf einer expliziten Blockliste stehen
- Datenbankoperationen: jedes DELETE ohne WHERE-Clause, DROP oder TRUNCATE erfordert manuelles Review vor Ausführung
- Auth-Logik ist besonders riskant, da Bugs nicht in Unit-Tests auftauchen, sondern erst in Incident-Reports – oft Monate später
- AGENTS.md im Repo-Root als verbindlicher Kontrakt: Projektzweck, Ausführungsregeln und No-Touch-Zonen für den Agenten
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.
Verwandte Beiträge
- MEINUNGtowardsdatascience.com3w
Coding Agents sicher betreiben: YOLO-Modus und Permissions richtig einsetzen
- FORSCHUNGarxiv.org2w
Governance by Design: Sieben Lektionen für skalierbare Agentic-AI-Systeme
- MEINUNGarxiv.org0mo
AI Workflow Store: Plädoyer für robuste, wiederverwendbare Agenten-Workflows
- FORSCHUNGarxiv.org2w
Position Paper: AI Safety braucht Controllability als Kernziel