Interpretierbarkeit · Mechanistische Methoden treffen auf wachsenden Produktdruck

Aktueller Stand

Interpretierbarkeit ist kein einheitliches Feld mehr – es zerfällt in mindestens drei Strömungen, die wenig miteinander kommunizieren: mechanistic interpretability (Aktivierungspfade, Schaltkreisanalyse), post-hoc-Erklärbarkeit (SHAP, kontrafaktische Methoden) und ante-hoc-Design (intrinsisch interpretierbare Architekturen). Forschungsseitig dominieren akademische Gruppen ohne klare industrielle Führung; Anthropic ist durch den Prompt-Injection-Verdacht in die Kritik geraten, was das Thema Systemtransparenz schlagartig praxisrelevant macht.

Der Grossteil der publizierten Arbeiten bewegt sich auf Spezialdomänen – Medizin, Cybersecurity, physikalische Simulation – und liefert anwendungsnahe, aber schwer verallgemeinerbare Befunde. Grundlegende Fragen wie die Stabilitätsbeziehung zwischen Vorhersagerobustheit und Erklärbarkeitsrobustheit bleiben offen. Der Produktionsdruck steigt, die methodische Kohärenz hält nicht Schritt.

Wichtigste Updates

Die vielleicht methodisch folgenreichste Arbeit der vergangenen 30 Tage ist CoAx: Das Framework zur Conditional Co-Ablation zeigt, dass gängige Single-Unit-Ablation bei Transformer-Schaltkreisanalysen systematisch verzerrte Attributions-Scores liefert, weil Self-Repair-Mechanismen primäre Effekte maskieren. Wer Komponenten pruned oder Fähigkeiten attribuiert, hat bisher mit einem blinden Fleck gearbeitet – CoAx legt diese Backup-Pfade offen. Das untergräbt einen Teil der bisherigen mechanistic-interpretability-Literatur methodisch.

Ebenfalls bemerkenswert ist WARP: Die Technik rekonstruiert Trainings-Datenmischungen direkt aus Modellgewichten, ohne Zugang zu Trainingsdaten. Das verschiebt den Begriff der Modelltransparenz – veröffentlichte Gewichte enthalten demnach mehr Information über Herkunft und Zusammensetzung eines Modells, als Anbieter typischerweise kommunizieren. Für Compliance- und Audit-Zwecke ist das relevant, für Anbieter, die Datenrezepte als proprietär behandeln, potenziell unkomfortabel.

Ein weiterer Strang betrifft die Schwäche von Erklärbarkeitsmethoden unter adversarialem Druck: Eine Studie zu Cybersecurity-Klassifikatoren weist nach, dass Vorhersagerobustheit und Erklärbarkeitsstabilität unabhängige Qualitätsachsen sind. Teams, die nur auf Prediction-Robustheit optimieren, erhalten SHAP-Attributionsdrift, die Analysten bei der Alert-Triage in die Irre führt. Das ist ein konkreter operativer Befund, kein theoretischer.

Auf Architekturebene zeigt RadiomicNet, dass kompakte, domänenwissensbasierte Modelle mit 3,27 Millionen Parametern State-of-the-Art-Segmentierung mit ante-hoc-Interpretierbarkeit und messbarem Kalibrierungsgewinn (ECE 0,142 → 0,118) kombinieren – ein Gegenbeispiel zur verbreiteten Annahme, Interpretierbarkeit koste Leistung.

Schliesslich liefert die Analyse von Diffusion Language Models erste Evidenz, dass DLMs interne Zeitschrittrepräsentationen kodieren – ein Befund, der gezielteres Steering dieser Modellklasse ermöglichen soll und zeigt, dass mechanistic interpretability nicht auf autoregressive Transformer beschränkt bleiben muss.

Was zu erwarten

Konkrete angekündigte Releases oder terminierte Publikationen lassen sich aus den vorliegenden Posts nicht ableiten – die Arbeiten sind mehrheitlich Paper-Releases ohne explizite Roadmap-Signale. Offen bleibt, ob die emtrees-Software zu ADTC in einer erweiterten Version erscheint; das Paper erwähnt eine laufende Evaluation auf realen Datensätzen, ohne Zeitangabe. Der Prompt-Injection-Verdacht gegen Anthropic steht als unbewiesener Vorwurf im Raum – sollte Anthropic reagieren oder eine Stellungnahme veröffentlichen, dürfte das die Debatte um Systemprompt-Transparenz weiter konkretisieren. Ansonsten: Die methodische Fragmentierung des Feldes lässt keine Konsolidierungsbewegung erkennen, die sich aus den vorliegenden Signalen ableiten liesse.