
SWE-Explore: AI-Coding-Agenten finden Dateien, verfehlen kritische Codezeilen
SWE-Explore ist ein neuer Benchmark, der eine bislang kaum isoliert betrachtete Phase des automatisierten Software-Engineering in den Fokus rückt: die gezielte Suche nach relevantem Code innerhalb einer bestehenden Codebasis. Bisherige Benchmarks wie SWE-Bench messen vor allem, ob ein Agent einen Bug vollständig beheben kann – sie vermischen damit Kontextlokalisierung und eigentliche Reparatur. SWE-Explore trennt diese beiden Schritte und bewertet ausschließlich, wie präzise ein Agent die relevanten Stellen im Code identifiziert, bevor er überhaupt einen Patch schreibt. Die Studienergebnisse zeigen ein klares Muster: Agenten wie Claude Code und OpenAI Codex sind gut darin, die korrekte Datei zu finden, scheitern aber daran, die tatsächlich kritischen Zeilen innerhalb dieser Datei zu lokalisieren. Dieses „File-Hit, Line-Miss"-Phänomen bedeutet, dass ein Agent technisch gesehen im richtigen Bereich sucht, dem Patch-Generator aber unzureichenden oder zu weitgefassten Kontext liefert. Die Folge: Selbst ein algorithmisch korrekter Fix greift ins Leere, weil er auf dem falschen Kontext aufbaut. SWE-Explore soll als eigenständige Messgröße dazu beitragen, diesen Engpass gezielt zu adressieren und Trainings- sowie Evaluierungsstrategien für Coding-Agenten zu verbessern.
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.
Verwandte Beiträge

SWE-Explore: AI-Coding-Agenten finden Dateien, verfehlen kritische Codezeilen
SWE-Explore ist ein neuer Benchmark, der eine bislang kaum isoliert betrachtete Phase des automatisierten Software-Engineering in den Fokus rückt: die gezielte Suche nach relevantem Code innerhalb einer bestehenden Codebasis. Bisherige Benchmarks wie SWE-Bench messen vor allem, ob ein Agent einen Bug vollständig beheben kann – sie vermischen damit Kontextlokalisierung und eigentliche Reparatur. SWE-Explore trennt diese beiden Schritte und bewertet ausschließlich, wie präzise ein Agent die relevanten Stellen im Code identifiziert, bevor er überhaupt einen Patch schreibt. Die Studienergebnisse zeigen ein klares Muster: Agenten wie Claude Code und OpenAI Codex sind gut darin, die korrekte Datei zu finden, scheitern aber daran, die tatsächlich kritischen Zeilen innerhalb dieser Datei zu lokalisieren. Dieses „File-Hit, Line-Miss"-Phänomen bedeutet, dass ein Agent technisch gesehen im richtigen Bereich sucht, dem Patch-Generator aber unzureichenden oder zu weitgefassten Kontext liefert. Die Folge: Selbst ein algorithmisch korrekter Fix greift ins Leere, weil er auf dem falschen Kontext aufbaut. SWE-Explore soll als eigenständige Messgröße dazu beitragen, diesen Engpass gezielt zu adressieren und Trainings- sowie Evaluierungsstrategien für Coding-Agenten zu verbessern.
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.