Der Reddit-Nutzer verwendete als Scaffold mini-swe-agent v2.4.6 in der offiziellen Bash-Only-Konfiguration – exakt jene, die auch auf dem swebench.com-Leaderboard zum Einsatz kommt – und ließ Ox Alpha über opencode's Go-Gateway auf dem 50-Aufgaben-Set laufen. Die Auswertung erfolgte lokal mit dem offiziellen SWE-bench-Docker-Harness: Eine Aufgabe gilt nur dann als gelöst, wenn sämtliche FAIL_TO_PASS- und PASS_TO_PASS-Tests bestehen. Bemerkenswert ist, dass alle 50 Instanzen einen echten Patch lieferten – weder leere Einreichungen noch Laufzeitfehler. Die beiden nicht gelösten Fälle (django__django-11790 und django__django-11815) stammen beide aus dem Django-Teilset, während Sphinx mit 25/25 vollständig abgeschlossen wurde. Kritisch ist der Vergleichsrahmen: Die frontier-Zahlen von 72–77%, die als Bash-Only-Baseline auf swebench.com gelistet sind, basieren auf dem vollen 500-Aufgaben-Set über 12 Repositories – deutlich breiter und schwerer als das django+sphinx-only-Mini-Set. Alle Tasks im Mini-Set stammen aus dem Zeitraum 2019–2022, sodass eine Kontamination durch Trainingsdaten nicht ausgeschlossen werden kann, auch wenn die Schwierigkeitsverteilung laut OpenAIs eigenen Human-Annotations dem vollen Set entspricht. Der Autor verzichtet bewusst auf eine abschließende Bewertung und lädt die Community zur Reproduktion und Kritik ein.