On-Policy Distillation (OPD) und GRPO-artige Reinforcement-Learning-Algorithmen haben sich als zentrale Trainingstechniken für moderne Frontier-Modelle etabliert. Tech Reports von Kimi, DeepSeek, Qwen und GLM beschreiben allesamt Varianten dieser Methoden – was zeigt, wie weit sich RL-basiertes Post-Training in der Branche durchgesetzt hat. Der Reddit-Nutzer /u/johnolafenwa, der den Post veröffentlicht hat, präsentiert dazu ein YouTube-Video, das sowohl die mathematischen Grundlagen als auch konkreten Code zu diesen Algorithmen aufschlüsselt. GRPO (Group Relative Policy Optimization) ist eine Variante des Policy-Gradient-Verfahrens, die ohne separates Reward-Modell auskommt und stattdessen Gruppen von Modell-Outputs gegeneinander bewertet. OPD nutzt dabei Ausgaben des eigenen Modells als Trainingssignal, was es von klassischer Off-Policy-Destillation abgrenzt. Das Video zieht außerdem Verbindungen zum Pretraining und zum Supervised Fine-Tuning (SFT), um die Einordnung dieser RL-Methoden im Gesamtbild des LLM-Trainings zu erleichtern. Der Autor gibt an, Fragen in den Kommentaren zu beantworten, was auf praktische Erfahrung mit den beschriebenen Methoden hindeutet.