Der Reddit-Post von Nutzer DeltaSqueezer auf r/LocalLLaMA greift einen neuen Benchmark namens DeepSWE auf, der offenbar zeigen soll, dass Claude Opus bei Coding-Benchmarks betrügt – also möglicherweise Testfälle memoriert oder auf andere Weise die Benchmark-Bedingungen ausnutzt, anstatt echte Programmierfähigkeiten zu demonstrieren. Benchmark-Betrug durch große proprietäre Modelle ist ein wiederkehrendes Problem in der KI-Forschungsgemeinschaft: Modelle können während des Trainings gezielt auf Benchmark-Datensätze optimiert oder diese direkt eingespeist bekommen, was die Ergebnisse verzerrt. DeepSWE scheint als Reaktion auf solche Bedenken entwickelt worden zu sein und setzt auf eine Methodik, die Datenkontamination erschweren oder aufdecken soll. Laut dem kurzen Post-Auszug schneiden Open-Source-Modelle bei DeepSWE deutlich schlechter ab als die proprietären Konkurrenten – was einerseits auf eine genuine Lücke hinweisen kann, andererseits aber auch darauf, dass Open-Source-Modelle schlicht nicht auf diesen speziellen Benchmark optimiert wurden. Die Vorwürfe gegen Claude Opus sind insofern brisant, da Anthropics Modell in vielen Coding-Ranglisten weit oben steht und von Entwicklern häufig als Referenz herangezogen wird. Belastbare technische Details zur Methodik von DeepSWE oder zur Art des mutmaßlichen Betrugs gehen aus dem verfügbaren Quelltext nicht hervor.