ServiceNow-AI dokumentiert eine detaillierte Fallstudie zur vLLM-Migration von Version 0.8.5 zu 0.18.1 im Kontext ihres PipelineRL-Systems. Das Kernanliegen war nicht die Optimierung, sondern die Herstellung von Backend-Parität: Das Inference-Engine liefert Token-Logprobs an den Trainer, der daraus Policy-Ratios, KL-Divergenz, Clip-Rate, Entropy und Rewards berechnet. Jede Abweichung in der Logprob-Berechnung destabilisiert das Training messbar (sichtbar in Abweichungen bei clip_rate, KL, entropy und reward).

Die Autoren identifizierten vier konkrete Fehlerquellen und behoben sie systematisch: (1) Logprob-Semantik – V1 gab Raw-Model-Outputs zurück, nicht die Post-Processing-Distribution (gelöst durch `logprobs_mode=processed_logprobs`); (2) Runtime-Defaults wie Prefix-Caching und Async-Scheduling, die unterschiedliche Execution-Paths verursachten; (3) Inflight-Weight-Updates, die Caches bei Online-RL-Updates nicht konsistent invalidiert haben; (4) fp32-Precision in der finalen lm_head-Projektion. Der methodische Ansatz – Backend-Verhalten erst validieren, dann RL-Objective neu bewerten – wird als Best Practice für Online-RL-Systeme (PPO, GRPO, GSPO) beschrieben.