Nutzer ritis88 auf r/LocalLLaMA veröffentlichte eine Nachuntersuchung zu einem früheren Benchmark, in dem TranslateGemma-12b angeblich Frontier-Modelle wie Claude Sonnet, GPT-5.4, DeepSeek und Gemini Flash Lite bei Untertitelübersetzungen in sechs Sprachen übertraf. Um die Robustheit dieser Ergebnisse zu prüfen, wurden 21 englische Untertitelsegmente aus einem Tutorial-Video in vier Sprachen (ES, JA, TH, ZH-CN) übersetzt – insgesamt 84 Segmente, die allesamt gute automatische Metrik-Scores erzielt hatten. Anschließend wurden alle Übersetzungen einem menschlichen MQM-Review unterzogen. Ergebnis: Die automatischen Metriken flaggten nur 1 von 84 Segmenten (1,2 %), während menschliche Reviewer 60 von 84 (71 %) beanstandeten und 13 davon (15 %) als Major-Fehler einstuften. Besonders auffällig: Alle 25 gefundenen Accuracy-Fehler (Fehlerklassen: Mistranslation, Omission, Addition, Untranslated) lagen im metrisch blinden Bereich. Japanisch zeigte das Muster „flüssig, aber falsche Bedeutung" – COMETKiwi-Mittelwert 0,86, dennoch 10 von 15 Gesamtmistranslations. Thai produzierte Inhalte, die nicht im Quelltext standen (Over-Production). Der Autor schränkt ein, dass die Stichprobengröße klein sei und die Zahlen eher Richtungsweiser als definitive Aussagen seien.