DiffuJudge-AV ist ein Framework, das Konzepte aus dem Bereich der Diffusionsmodelle — insbesondere die iterative Rauschunterdrückung und das schrittweise Verfeinern von Signalen — auf LLM-as-a-Judge-Pipelines überträgt. Im Kontext des autonomen Fahrens (AV) sind zuverlässige automatisierte Bewertungsverfahren besonders kritisch, da Fehlurteile eines Judges direkt die Qualitätssicherung von Fahrvideo-Datensätzen beeinflussen. Das Framework adressiert zwei zentrale Schwächen heutiger LLM-Judge-Systeme: mangelnde Kalibrierung (d.h. Konfidenz und tatsächliche Akkuratheit klaffen auseinander) sowie Anfälligkeit gegenüber verteilt auftretenden „Rausch"-Faktoren in den Eingabedaten, etwa mehrdeutige oder qualitativ schwache Videoframes. Der „Stress-Testing"-Ansatz von DiffuJudge-AV erlaubt es, gezielt Schwachstellen in bestehenden Judge-Pipelines zu identifizieren, bevor diese in produktive Evaluierungsschleifen einfließen. Die Denoising-Komponente des Frameworks soll analoge Funktionen übernehmen wie der Reverse-Diffusion-Prozess: schrittweise Elimination von Fehlquellen im Urteilsprozess des LLMs. Der Ansatz richtet sich an Teams, die Fahrzeugvideo-Datensätze für das Training oder die Validierung von AV-Systemen bewerten und dabei auf automatisierte LLM-Pipelines setzen. Der Beitrag erschien auf Towards Data Science, einer der meistgelesenen Plattformen für angewandte Data-Science-Inhalte.