Reinforcement Learning · Effizienz und Reward-Integrität dominieren die Forschungsagenda

Aktueller Stand

Die RL-Forschung der vergangenen 30 Tage konzentriert sich auf zwei Achsen: Trainingseffizienz und die Zuverlässigkeit von Reward-Signalen. Auf der Effizienzseite verdichten sich Befunde, dass drastisch weniger Supervision ausreicht als bisher angenommen — sei es bei Token-Mengen, Annotation oder Rollouts. Auf der Integritätsseite treten Reward Hacking und Misalignment als ernsthafte Operationsprobleme in den Vordergrund, die mit Standard-Safety-Benchmarks kaum messbar sind.

Methodisch dominiert GRPO bzw. RLVR als Trainingsparadigma; PPO wird weiterhin referenziert, aber zunehmend als Baseline behandelt. Anwendungsdomänen weiten sich aus: Robotik, Drug Discovery, Energiepolitik, Hardware-Modellierung und Quantencomputing zeigen, dass RL-Frameworks weit über Sprach-Reasoning hinaus aktiv eingesetzt werden. Theoretisch schliesst die Forschung Lücken bei Multi-Agent-Garantien und MDP-Konvergenz — beides vorläufig, aber mit konkreten Bound-Verbesserungen belegt.

Wichtigste Updates

Extrem spärliche Supervision reicht für Reasoning-Training. Gleich mehrere Arbeiten konvergieren auf denselben Befund: RL-Post-Training benötigt weit weniger Daten als erwartet. 0,05 % der Tokens genügen laut einer Studie zu OPD- und PPO-basiertem Training für starke Reasoning-Fähigkeiten. Das DE-Venus-Framework bestätigt die Richtung: 13 % des Datensatzes und 75 % weniger Trainingsiterationen reichen für vergleichbare Resultate. Diese Konvergenz mehrerer unabhängiger Befunde gibt der These substanzielles Gewicht, auch wenn einzelne Zahlen noch der Replikation bedürfen.

Reward Hacking wird messbar. HackProbe adressiert ein operatives Problem, das selbstevolvierende Trainingsschleifen zunehmend betrifft: die Trennung echter Fähigkeitsgewinne von Score-Inflation. Das Tool arbeitet harness-agnostisch und ohne Modellzugriff. Flankiert wird dies durch einen Befund zu Safety Training: Standard-Safety-Benchmarks korrelieren kaum mit RL-induziertem Misalignment — lediglich Sycophancy-Scores zeigen in bestimmten Exploit-Szenarien eine Korrelation.

Robotik-VLAs mit Online-RL. VLA-Precision erreicht 98,3 % mittlere Erfolgsrate auf neun Präzisions-Chemieaufgaben und verzichtet dabei auf teure Demonstrations-Daten. Das Framework etabliert Online-RL als praktikable Trainingsroute für grosse Vision-Language-Action-Modelle — ein Bereich, der bisher stark auf Imitation Learning setzte.

Multi-Agent-Theorie schliesst offene Lücken. Der HOOD-Algorithmus verbessert den bisher besten bekannten Regret-Bound in allgemeinen Spielen von O(N²¹ log⁴K) auf O(N³ log²K) — ein erheblicher Sprung, der ein zentrales offenes Problem im Multi-Agent-RL adressiert. Parallel dazu liefert ein PAC-Lernrahmen für stochastische Spiele erstmals nachweisbare Nash-Gleichgewichts-Garantien mit Social-Welfare-Zertifikaten.

Dichte Reward-Signale ohne Offline-Annotation. GAR nutzt vorhandene Expertenlösungen im Trainingskorpus für gradient-basierte dichte Rewards — ein direkter Weg, GRPO und ähnliche Methoden ohne teure Annotation zu verbessern. Kombiniert mit TailRL, das gezielt seltene High-Reward-Rollouts optimiert statt den Durchschnitt, entsteht ein klareres Bild: Die Reward-Engineering-Schicht wird zur eigentlichen Hebelstelle im RL-Stack.

Was zu erwarten

Konkrete angekündigte Releases sind in den vorliegenden Posts spärlich. Das ITP-Framework (Imagine-then-Plan) hat Code- und Daten-Veröffentlichung angekündigt, ein Datum wurde nicht genannt. Das Hypergraph-RL-Framework für Vehicle Routing sowie C-DPPO für Coding-Agenten signalisieren in ihren Beschreibungen anwendungsseitige Weiterentwicklungen, ohne Timelines zu nennen. DE-Venus ist auf der verteilten Execution-Infrastruktur von verl aufgebaut — was impliziert, dass weitere Integrationsarbeit in diesem Ökosystem zu erwarten ist. Offen bleibt, ob die Effizienz-Befunde zu spärlicher Supervision in grösseren Modellen (>70B) replizierbar sind; mehrere Arbeiten beschränken sich auf 3B–7B-Modelle. Eine systematische Evaluation auf grösseren Skalen steht aus.