Armature Tech baute für die Studie ein Panel aus 75 sorgfältig konstruierten Repositories in 10 Programmiersprachen, die mit fiktiven Firmennamen, gefälschten Git-Historien und synthetischen API-Keys bestückt wurden – echte Lockfiles wurden jedoch gegen Paketmanager-Registries wie npm validiert. Jedes der 16.893 Experimente lief in einer eigenen, kurzlebigen Sandbox (rotierend zwischen E2B, Blaxel und Daytona), um Infrastruktur-Bias zu minimieren. Ein besonderer methodischer Kniff war der „Simulated Human in the Loop": Ein Gemini-3.7-Flash-Orchestrator spielte einen menschlichen Gesprächspartner, der den Agenten zunächst nach einer Empfehlung fragt und dann die Top-1-Lösung abnickt – ohne diesen Schritt hätten die Agenten deutlich öfter komplett selbst gebaut statt Drittanbieter zu wählen. Als Beispiel nennt die Studie Object Storage: Erst durch den simulierten Menschen begann Cloudflare R2 gegen Amazon S3 zu gewinnen, das zuvor fast immer ausgewählt wurde. Ein zweiter Gemini-3.7-Flash-Instanz fungierte als Richter und filterte invalide Sessions heraus; von den 16.893 Runs galten 5.292 als auswertbar. Vier Nutzer-Personas – Vibe-Coder, Junior Engineer, Senior Engineer und Enterprise-Engineer – sowie 1.163 Prompt-Variationen sorgten für realistische Aufgabenvielfalt. In 20–25 % der Fälle enthielten Prompts zusätzliche Angaben zu Kosten oder Nutzungsvolumen, um deren Einfluss auf die Toolwahl zu messen.