Unhöfliche Prompts erzielen bei ChatGPT 4o höhere Genauigkeit als höfliche
Das Kurzpaper „Mind Your Tone" von Om Dobariya und Akhil Kumar untersucht, wie der Höflichkeitsgrad von Prompts die Antwortqualität von Large Language Models beeinflusst. Die Autoren erstellten einen Datensatz mit 50 Basis-Fragen aus Mathematik, Naturwissenschaften und Geschichte und formulierten jede Frage in fünf Tonstufen um – von „Very Polite" bis „Very Rude" –, was 250 einzigartige Prompts ergab. Alle Prompts wurden mit ChatGPT 4o evaluiert; statistische Signifikanz wurde mittels gepaarter t-Tests geprüft. Entgegen der Erwartung schnitten unhöfliche Prompts konsistent besser ab: Die Genauigkeit reichte von 80,8 % (Very Polite) bis 84,8 % (Very Rude). Dieses Ergebnis widerspricht älteren Studien, die Unhöflichkeit mit schlechteren Ausgaben assoziierten, und legt nahe, dass neuere LLMs auf tonale Variation anders reagieren als ihre Vorgänger. Die Autoren diskutieren die Befunde im Kontext der Pragmatik des Promptings sowie sozialer Dimensionen der Mensch-KI-Interaktion und verweisen auf Limitierungen des kleinen Datensatzes. Das Paper wurde zur Veröffentlichung bei den Findings of ACL 2025 eingereicht.
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.
Verwandte Beiträge
- FORSCHUNGarxiv.org3w
Studie analysiert menschenähnliche Verhaltensweisen in LLMs über 21.000 Gespräche
- FORSCHUNGarxiv.org4d
Prompt-Robustheit von LLMs hängt stark vom Fragetyp ab
- FORSCHUNGarxiv.org2w
Studie zeigt: Prompt-Rankings in LLM-Evaluierungen oft instabil
- FORSCHUNGarxiv.org5d
LLMs sagen menschliche Entscheidungsverzerrungen in Chatbot-Dialogen vorher
Unhöfliche Prompts erzielen bei ChatGPT 4o höhere Genauigkeit als höfliche
Das Kurzpaper „Mind Your Tone" von Om Dobariya und Akhil Kumar untersucht, wie der Höflichkeitsgrad von Prompts die Antwortqualität von Large Language Models beeinflusst. Die Autoren erstellten einen Datensatz mit 50 Basis-Fragen aus Mathematik, Naturwissenschaften und Geschichte und formulierten jede Frage in fünf Tonstufen um – von „Very Polite" bis „Very Rude" –, was 250 einzigartige Prompts ergab. Alle Prompts wurden mit ChatGPT 4o evaluiert; statistische Signifikanz wurde mittels gepaarter t-Tests geprüft. Entgegen der Erwartung schnitten unhöfliche Prompts konsistent besser ab: Die Genauigkeit reichte von 80,8 % (Very Polite) bis 84,8 % (Very Rude). Dieses Ergebnis widerspricht älteren Studien, die Unhöflichkeit mit schlechteren Ausgaben assoziierten, und legt nahe, dass neuere LLMs auf tonale Variation anders reagieren als ihre Vorgänger. Die Autoren diskutieren die Befunde im Kontext der Pragmatik des Promptings sowie sozialer Dimensionen der Mensch-KI-Interaktion und verweisen auf Limitierungen des kleinen Datensatzes. Das Paper wurde zur Veröffentlichung bei den Findings of ACL 2025 eingereicht.
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.
Verwandte Beiträge
- FORSCHUNGarxiv.org3w
Studie analysiert menschenähnliche Verhaltensweisen in LLMs über 21.000 Gespräche
- FORSCHUNGarxiv.org4d
Prompt-Robustheit von LLMs hängt stark vom Fragetyp ab
- FORSCHUNGarxiv.org2w
Studie zeigt: Prompt-Rankings in LLM-Evaluierungen oft instabil
- FORSCHUNGarxiv.org5d
LLMs sagen menschliche Entscheidungsverzerrungen in Chatbot-Dialogen vorher