Foundation-Modelle · Effizienz, Safety-Lücken und Benchmark-Inflation unter Druck

Aktueller Stand

Das Feld der Foundation-Modelle wird derzeit weniger durch neue Architektur-Sprünge bewegt als durch einen wachsenden Druck auf Effizienz, Robustheit und Verlässlichkeit bestehender Systeme. Quantisierungs- und Kompressionsmethoden rücken ins Zentrum: Gewichtsreduktion ohne Genauigkeitsverlust ist kein Nischenthema mehr, sondern produktionskritisch. Gleichzeitig häufen sich Befunde, die das Vertrauen in Foundation-Modelle aus unerwarteten Richtungen erschüttern — EEG-Modelle, Safety Guards und Unlearning-Mechanismen versagen teils an einfachen Benchmarks oder unter gezieltem Angriff. Selbstverbesserung ohne externe Trainingsdaten gewinnt als Forschungsrichtung an Kontur. Das Feld bleibt experimentell fragmentiert: Viele Ansätze lösen Teilprobleme, aber ein kohärenter Konsolidierungsmoment ist nicht erkennbar. Grosse Labore sind in den publizierten Arbeiten dieser Periode als direkte Akteure wenig sichtbar; der Impuls kommt aus akademischen Gruppen und mittelgrossen Teams.

Wichtigste Updates

Selbstverbesserung ohne menschliche Daten. Die wohl konzeptionell bedeutsamste Arbeit dieser Periode ist OPST: Das Verfahren zeigt, dass Post-Training ohne externe Datenquellen oder stärkere Lehrermodelle möglich ist — LLMs verbessern sich rekursiv in neuen Domänen, ohne Annotation. Visual OPST überträgt den Ansatz auf multimodale Tasks. Wie weit das in der Praxis skaliert, bleibt offen; die Ergebnisse sind vorläufig, aber die Richtung ist signifikant.

Gewichtskompression mit messbarem Gewinn. TWIG demonstriert auf Qwen3-8B 24 Prozent weniger Bits für Modellgewichte, bis zu 1,28× schnellere Generierung und 1,49× mehr KV-Cache-Token — ohne Kalibrierung und ohne Genauigkeitsverlust gegenüber BF16. Das ist konkret: Für Deployment-Teams, die Inferenzkosten drücken, sind solche kompressionstheoretisch fundierten Verfahren direkter Hebel. HyScale ergänzt das Bild auf der Trainingsseite: Long-Context-Training mit Sparse Attention lässt sich bei 1M-Token-Sequenzen mehr als verdoppeln im Durchsatz, ohne Genauigkeitsverlust.

Safety Guards mit struktureller Schwäche. Target Rebinding umgeht verbreitete LLM-Safety-Guards (ShieldGemma, Llama Guard 3, Shieldstral) mit Plain-Text-Prompts in über 93 Prozent der Fälle. Ein trainingsbasierter Fix senkt die Angriffsrate auf 0,8–1,6 Prozent, ist aber nicht universell verfügbar. Parallel zeigt TRACE, dass Systeme, die Pre- und Post-Unlearning-Snapshots für Auditing vorhalten, einen Seitenkanal für Datenlecks schaffen — Approximate Unlearning für Compliance erfordert damit zwingend Snapshot-Zugangskontrolle.

Benchmark-Inflation und methodische Schwächen. Gleich zwei Benchmark-Arbeiten dieser Periode sind als Korrektiv angelegt: EEG-Foundation-Modelle scheitern an einfachen Baselines, wenn methodische Schwächen wie Test-Score-basierte Layer-Selektion kontrolliert werden. Die Pretraining-Claims in diesem Bereich sind mit Vorsicht zu begegnen. MBABench-2.0 zeigt, dass Frontier-Modelle bei Finanz-Spreadsheet-Aufgaben nur 16 Prozent der Tasks bestehen, die Lesbarkeit und Prüfbarkeit einbeziehen — eine klare Grenze für produktiven LLM-Einsatz in der Finanzmodellierung.

Was zu erwarten

Die publizierten Arbeiten dieser Periode enthalten keine expliziten Ankündigungen bevorstehender Modell-Releases oder roadmap-gebundener Entwicklungen von grossen Laboren. Was sich aus den Forschungslinien ableiten lässt: OPST und RSI-Opt deuten auf eine zunehmende Auseinandersetzung mit rekursiver Selbstverbesserung hin — Folgepublikationen in diesem Cluster sind wahrscheinlich. TWIG und HyScale sind methodisch reif genug, dass eine Integration in bestehende Trainings-Pipelines mittelfristig zu erwarten ist. Die Safety-Lücken bei Target Rebinding und TRACE dürften Reaktionen bei Guard-Anbietern auslösen, konkrete Fixes sind aber noch nicht signalisiert. Ob und wann EEG-Foundation-Modelle methodisch konsolidiert werden, bleibt unklar.