
RLHF schwächt menschliche Verhaltensimulation: Studie mit 208.000 Teilnehmern
Eine der bislang größten Studien zur Frage, wie gut KI-Chatbots menschliches Verhalten abbilden können, kommt zu einem ernüchternden Ergebnis: Das sogenannte RLHF-Training (Reinforcement Learning from Human Feedback), das Sprachmodelle erst zu hilfreichen Assistenten macht, untergräbt gleichzeitig ihre Fähigkeit, echte menschliche Antwortmuster zu replizieren. Die Studie umfasst 208.000 Teilnehmer und 26 Millionen Antworten und ist damit außergewöhnlich umfangreich. Besonders bemerkenswert ist der Generationseffekt: Jede neue Modellgeneration zeigt eine stärkere Abweichung vom menschlichen Verhalten – je leistungsfähiger und „hilfreicher" das Modell, desto ungeeigneter für die Simulation individueller Personen. Ein häufig eingesetzter Workaround – das Füttern von Modellen mit demografischen Profilen (sogenannte Persona-Prompts) – bringt laut der Studie praktisch keinen messbaren Vorteil bei individuellen Vorhersagen. Die Befunde haben direkte Relevanz für Sozialwissenschaften, Marktforschung und alle Anwendungen, die LLMs als Ersatz für menschliche Umfrageteilnehmer einsetzen.
- Studie umfasst 208.000 Teilnehmer und 26 Millionen Antworten – ungewöhnlich große Datenbasis.
- Der negative Effekt auf Verhaltensimulation verstärkt sich mit jeder neuen Modellgeneration.
- Persona-Prompts mit demografischen Profilen liefern kaum Verbesserung bei individuellen Vorhersagen.
- RLHF-Training, das Hilfsbereitschaft erzeugt, ist laut Studie direkte Ursache der Abweichung.
- Befunde betreffen alle Einsatzbereiche, die LLMs als synthetische Umfrageteilnehmer nutzen.
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.
Verwandte Beiträge

RLHF schwächt menschliche Verhaltensimulation: Studie mit 208.000 Teilnehmern
Eine der bislang größten Studien zur Frage, wie gut KI-Chatbots menschliches Verhalten abbilden können, kommt zu einem ernüchternden Ergebnis: Das sogenannte RLHF-Training (Reinforcement Learning from Human Feedback), das Sprachmodelle erst zu hilfreichen Assistenten macht, untergräbt gleichzeitig ihre Fähigkeit, echte menschliche Antwortmuster zu replizieren. Die Studie umfasst 208.000 Teilnehmer und 26 Millionen Antworten und ist damit außergewöhnlich umfangreich. Besonders bemerkenswert ist der Generationseffekt: Jede neue Modellgeneration zeigt eine stärkere Abweichung vom menschlichen Verhalten – je leistungsfähiger und „hilfreicher" das Modell, desto ungeeigneter für die Simulation individueller Personen. Ein häufig eingesetzter Workaround – das Füttern von Modellen mit demografischen Profilen (sogenannte Persona-Prompts) – bringt laut der Studie praktisch keinen messbaren Vorteil bei individuellen Vorhersagen. Die Befunde haben direkte Relevanz für Sozialwissenschaften, Marktforschung und alle Anwendungen, die LLMs als Ersatz für menschliche Umfrageteilnehmer einsetzen.
- Studie umfasst 208.000 Teilnehmer und 26 Millionen Antworten – ungewöhnlich große Datenbasis.
- Der negative Effekt auf Verhaltensimulation verstärkt sich mit jeder neuen Modellgeneration.
- Persona-Prompts mit demografischen Profilen liefern kaum Verbesserung bei individuellen Vorhersagen.
- RLHF-Training, das Hilfsbereitschaft erzeugt, ist laut Studie direkte Ursache der Abweichung.
- Befunde betreffen alle Einsatzbereiche, die LLMs als synthetische Umfrageteilnehmer nutzen.
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.