Das Multi-Armed-Bandit-Problem ist ein klassisches Dilemma aus der Entscheidungstheorie: Ein Agent muss zwischen mehreren Optionen („Armen") wählen, ohne deren Erfolgswahrscheinlichkeiten zu kennen, und gleichzeitig zwischen dem Erkunden neuer Optionen (Exploration) und dem Ausnutzen bereits bekannter guter Optionen (Exploitation) abwägen. Thompson Sampling ist eine bayesianische Methode, die dieses Dilemma elegant löst, indem sie für jeden Arm eine Wahrscheinlichkeitsverteilung über den erwarteten Reward pflegt – typischerweise eine Beta-Verteilung bei binären Outcomes – und daraus stochastisch sampelt, um die nächste Aktion zu wählen. Der Artikel aus der „DIY AI & ML"-Reihe auf Towards Data Science führt durch die konkrete Implementierung als wiederverwendbares Python-Objekt, ohne auf externe Reinforcement-Learning-Frameworks wie Gym oder Stable Baselines zurückzugreifen. Das vermittelte Konzept ist direkt auf praxisnahe Szenarien übertragbar: A/B-Tests, klinische Studien, personalisierte Empfehlungssysteme oder Online-Werbung, wo laufend neue Daten einfließen und Entscheidungen adaptiv getroffen werden müssen. Die Beta-Verteilung wird dabei mit jedem Reward-Signal (Erfolg oder Misserfolg) aktualisiert, sodass der Algorithmus mit zunehmender Datenmenge konvergiert. Im Vergleich zu Epsilon-Greedy-Ansätzen benötigt Thompson Sampling keine manuelle Kalibrierung einer Explorationsrate und erzielt in der Praxis oft bessere kumulierte Rewards.