In ihrer Präsentation auf InfoQ thematisiert Mallika Rao ein in der Praxis häufig unterschätztes Problem: „Evaluation Debt" – also die wachsende Lücke zwischen dem, was KI-Systeme in der Produktion tatsächlich leisten, und dem, was herkömmliche Metriken darüber aussagen. Rao stützt sich dabei auf Erfahrungen aus ihrer Arbeit bei Twitter, Walmart und Netflix. Sie argumentiert, dass traditionelle Bewertungsansätze wie Accuracy oder F1-Score für moderne, mehrschichtige KI-Architekturen unzureichend sind und sogenannte „silent semantic failures" übersehen – Fehler, die im Systemverhalten auftreten, ohne durch gängige Kennzahlen sichtbar zu werden. Als Gegenmittel schlägt Rao einen fünfschichtigen Evaluierungs-Stack vor, der sowohl Infrastruktur- als auch UX-Ebenen abdeckt. Ergänzend präsentiert sie ein diagnostisches Reifegradmodell, das Engineering-Leadern helfen soll, den aktuellen Eval-Stand ihrer Organisation zu bewerten und gezielt zu verbessern. Der Vortrag richtet sich primär an technische Führungskräfte, die KI-Systeme in großen, realen Produktionsumgebungen verantworten.