Menschen übersehen 1 von 3 Bedrohungen bei KI-Agent-Freigaben – Studie mit 40.000 Runs
Der Autor veröffentlichte ein Browser-Spiel, in dem Nutzer die Rolle des „Human-in-the-Loop" für einen KI-Coding-Agenten übernehmen: Sie müssen unter Zeitdruck Befehle genehmigen oder ablehnen. Nach dem Hinzufügen einer Statistikfunktion lagen Daten aus über 40.000 Spieldurchläufen und 409.000 individuellen Entscheidungen vor. Besonders aufschlussreich ist die Aufschlüsselung nach Bedrohungskategorien: Während offensichtlich destruktive Befehle wie `rm -rf /` nur in 11,7 % der Fälle übersehen wurden, lagen Scope-Verletzungen (z. B. `cat ~/.aws/credentials`) bei 35 % und Exfiltrationsangriffe via `curl` bei 33,4 %. Den stärksten blinden Fleck bilden npm-Skripte: `npm run analyze` wurde in 64,7 % der Fälle genehmigt, obwohl das Agenten-Protokoll direkt oberhalb der Genehmigungsaufforderung eine verdächtige `curl`-Pipeline in der `package.json` anzeigte. Das Muster, einen schädlichen Payload hinter einem vertrauten Skriptnamen zu verstecken, verdoppelt laut den Daten die Erfolgsrate eines Angriffs. Anthropic hatte zuvor bereits „Permission Fatigue" bei Claude Code beschrieben – die Spieldaten zeigen eine analoge Degradierung: Nach einer kurzen Anlaufphase steigt die Fehlerquote gegen Ende einer Session wieder an. Auch Überblockierung ist ein Problem: Harmlose Befehle wie `npm config set registry` (59 % geblockt) oder `rm -rf dist/` (45 % geblockt) wurden regelmäßig fälschlicherweise abgelehnt, was den Workflow erheblich ausbremst.
- 32,9 % aller Sessions endeten mit negativem Score – Strafen für genehmigte Bedrohungen und geblockte harmlose Befehle überwogen die korrekten Entscheidungen.
- Nur 20,8 % der Spieler schafften es, alle Bedrohungen zu blockieren und dabei weniger als jede fünfte sichere Aktion fälschlicherweise abzulehnen.
- 7 % der Spieler genehmigten jeden einzelnen Prompt – vergleichbar mit dem Flag `--dangerously-skip-permissions`.
- Hacker-News-Nutzer dns_snek fasste das Kernproblem zusammen: Der Agent könnte `package.json` still editieren oder `node_modules` manipulieren, ohne dass eine Befehlsfreigabe nötig wäre – die Command-Approval-Ebene ist damit strukturell unzureichend.
- Im Spiel entfielen ca. 34 % aller gezeigten Befehle auf Bedrohungen – im produktiven Alltag liegt dieser Anteil deutlich niedriger, was Permission Fatigue weiter verschärft.
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.
Verwandte Beiträge
Menschen übersehen 1 von 3 Bedrohungen bei KI-Agent-Freigaben – Studie mit 40.000 Runs
Der Autor veröffentlichte ein Browser-Spiel, in dem Nutzer die Rolle des „Human-in-the-Loop" für einen KI-Coding-Agenten übernehmen: Sie müssen unter Zeitdruck Befehle genehmigen oder ablehnen. Nach dem Hinzufügen einer Statistikfunktion lagen Daten aus über 40.000 Spieldurchläufen und 409.000 individuellen Entscheidungen vor. Besonders aufschlussreich ist die Aufschlüsselung nach Bedrohungskategorien: Während offensichtlich destruktive Befehle wie `rm -rf /` nur in 11,7 % der Fälle übersehen wurden, lagen Scope-Verletzungen (z. B. `cat ~/.aws/credentials`) bei 35 % und Exfiltrationsangriffe via `curl` bei 33,4 %. Den stärksten blinden Fleck bilden npm-Skripte: `npm run analyze` wurde in 64,7 % der Fälle genehmigt, obwohl das Agenten-Protokoll direkt oberhalb der Genehmigungsaufforderung eine verdächtige `curl`-Pipeline in der `package.json` anzeigte. Das Muster, einen schädlichen Payload hinter einem vertrauten Skriptnamen zu verstecken, verdoppelt laut den Daten die Erfolgsrate eines Angriffs. Anthropic hatte zuvor bereits „Permission Fatigue" bei Claude Code beschrieben – die Spieldaten zeigen eine analoge Degradierung: Nach einer kurzen Anlaufphase steigt die Fehlerquote gegen Ende einer Session wieder an. Auch Überblockierung ist ein Problem: Harmlose Befehle wie `npm config set registry` (59 % geblockt) oder `rm -rf dist/` (45 % geblockt) wurden regelmäßig fälschlicherweise abgelehnt, was den Workflow erheblich ausbremst.
- 32,9 % aller Sessions endeten mit negativem Score – Strafen für genehmigte Bedrohungen und geblockte harmlose Befehle überwogen die korrekten Entscheidungen.
- Nur 20,8 % der Spieler schafften es, alle Bedrohungen zu blockieren und dabei weniger als jede fünfte sichere Aktion fälschlicherweise abzulehnen.
- 7 % der Spieler genehmigten jeden einzelnen Prompt – vergleichbar mit dem Flag `--dangerously-skip-permissions`.
- Hacker-News-Nutzer dns_snek fasste das Kernproblem zusammen: Der Agent könnte `package.json` still editieren oder `node_modules` manipulieren, ohne dass eine Befehlsfreigabe nötig wäre – die Command-Approval-Ebene ist damit strukturell unzureichend.
- Im Spiel entfielen ca. 34 % aller gezeigten Befehle auf Bedrohungen – im produktiven Alltag liegt dieser Anteil deutlich niedriger, was Permission Fatigue weiter verschärft.
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.