Moderne Sprachmodelle trainieren auf Daten mit stark ungleichmäßigen Token-Häufigkeiten: Wenige hochfrequente Wörter dominieren nahezu jeden Satz, während viele semantisch bedeutsame, seltene Token nur sporadisch auftreten. Beim klassischen Stochastic Gradient Descent (SGD) führt dies zu einem strukturellen Problem – Parameter, die mit häufigen Token verknüpft sind, werden bei jedem Batch aktualisiert und konvergieren schnell, während Parameter seltener Token über hunderte Schritte hinweg kaum Gradienten empfangen. Dieses sogenannte Frequenz-Bias verlangsamt das Lernen seltener Konzepte erheblich und kann die Modellqualität in Long-Tail-Bereichen beeinträchtigen. Der Adam-Optimizer adressiert dieses Problem durch adaptive Lernraten: Für jeden Parameter wird eine individuelle Schrittweite berechnet, die auf dem historischen Gradienten-Quadratmittel basiert. Parameter mit bislang wenigen Updates erhalten dadurch automatisch größere Lernraten – ein Mechanismus, der dem Frequenz-Bias direkt entgegenwirkt. Der Artikel aus MarkTechPost beleuchtet diesen Zusammenhang konzeptuell und erklärt, warum die Wahl des Optimizers bei LLM-Training keine rein technische Nebensache ist, sondern die Repräsentationsqualität seltener Token fundamental beeinflusst.