Ein Spiel, um die Entschuldigungsfähigkeit von KI zu testen

Während es für manche Menschen schwierig ist, sich zu entschuldigen, scheint künstliche Intelligenz (KI) bereit zu sein, diese Aufgabe zu übernehmen. Aber kann eine Maschine wirklich soziale Intelligenz bewältigen? Um dies herauszufinden, haben wir die Entschuldigungen von Robotern getestet.

Das Experiment

In den letzten Wochen habe ich meine Kollegen, Familie und Freunde zu einem sozialen Experiment eingeladen. Mit Hilfe einiger Psychologieforscher habe ich eine Situation geschaffen, in der sie von einem Computer beleidigt wurden. Anschließend habe ich ihnen eine Reihe vorgefertigter Entschuldigungen präsentiert, um herauszufinden, welche am effektivsten war. Viele meiner Versuchspersonen waren wenig begeistert, als Versuchskaninchen benutzt zu werden. Für diesen Trick und das damit verbundene Unbehagen möchte ich mich entschuldigen.

Das Projekt war ein Test, um zu sehen, wie künstliche Intelligenz eine der sensibelsten menschlichen Interaktionen verändern könnte: die zwischenmenschliche Entschuldigung. Unternehmen, die KI-gesteuerte Chatbots entwickeln, schlagen vor, diese in unser Leben zu integrieren, insbesondere wenn wir nicht wissen, was wir sagen oder wie wir es sagen sollen. Aber was ist mit Aufgaben, die ein hohes Maß an subtiler menschlicher Interaktion erfordern? Kann ein Tool wie ChatGPT bessere Entschuldigungen schreiben? Und sollten wir es überhaupt verwenden?

Was macht eine gute Entschuldigung aus?

"Wir wissen alle irgendwie, was wir in einer Entschuldigung sagen sollten. Diese Information ist kein Geheimnis, aber wir machen es so oft falsch", sagt Judy Eaton, Psychologieprofessorin an der Wilfrid Laurier University in Waterloo, Ontario, Kanada. "Entschuldigungen bestehen nicht nur darin, die richtigen Worte zu sagen, sondern auch die physiologischen Reaktionen des sogenannten 'psychischen Schmerzes' einzubeziehen. Wenn man wirklich reuig ist, tut es weh. Wenn dieser Schmerz in der Entschuldigung nicht durchkommt, können die Leute erkennen, dass es keine echte Manifestation von Verletzlichkeit ist."

Ein allgemein akzeptiertes Wissen über KI ist, dass Chatbots in Situationen, die soziale Intelligenz erfordern, nicht besonders gut sind. Sicher, KI kann Radiologen helfen, Krebs zu erkennen, süße Limericks schreiben oder sogar anfangen, die Sprache der Tiere zu entschlüsseln. Aber für viele von uns fühlt sich jede Aufgabe, die Empathie erfordert, zutiefst menschlich an. Eine gute Entschuldigung scheint etwas zu sein, das Gefühle erfordert, die Roboter vermutlich nicht haben. Einige Experten sind jedoch anderer Meinung, und Forscher legen die rechnerischen Grundlagen für KI-Agenten, die soziale Situationen wahrnehmen, verstehen und darauf reagieren können.

Emotionale und soziale Intelligenz bei KI

Christos Papadimitriou, Professor für Informatik an der Columbia University, betont, dass emotionale und soziale Schlussfolgerungen eine große Schwachstelle der heutigen KI-Modelle sind. Einige persönliche Interaktionen tragen Ebenen der Komplexität, Annahmen und Logik, die KI bisher nicht knacken konnte. "Aber das sind möglicherweise keine unüberwindbaren Hindernisse", sagt Papadimitriou. "Wenn man 'Krieg und Frieden' liest, lernt man etwas über Gefühle. Es gibt keinen inhärenten Grund zu sagen, dass dies etwas ist, das intelligente Maschinen nicht erwerben können, und soziale Intelligenz ist etwas, das KI bereits in gewissem Maße vortäuschen kann."

Tatsächlich könnte eine gute Entschuldigung überhaupt keine echte Empathie erfordern. Menschen mit psychopathischen Zügen beschreiben oft, dass sie sich nicht um die Gefühle anderer Menschen kümmern, sondern stattdessen das Verhalten anderer Menschen in schwierigen sozialen Situationen nachahmen.

Das Experiment: Mensch gegen KI

Dieses Experiment war Teil einer Serie namens "AI vs. the Mind", die Grenzen moderner KI erforscht und dabei auch ein wenig über die Funktionsweise unseres eigenen Gehirns lernt. In jedem Artikel wird ein menschlicher Experte gegen ein KI-Tool in einem bestimmten kognitiven Bereich angetreten. Diesmal wollten wir herausfinden, ob eine Maschine eine bessere Entschuldigung schreiben kann als ein Mensch.

Spielaufbau

Ich bat Judy Eaton, ein Online-Spiel zu modifizieren, das sie für eine frühere Studie über Entschuldigungen entwickelt hatte. Unsere Teilnehmer traten in einer Reihe von Multiple-Choice-Fragen gegen einen anderen Spieler an. In jeder Runde gewann der erste Spieler, der die richtige Antwort erriet. Dann konnte der Gewinner wählen, ob er fünf virtuelle Dollar seinem virtuellen Portemonnaie hinzufügen oder fünf virtuelle Dollar vom anderen Spieler stehlen wollte.

Leider für meine wettbewerbsfreudigen Freunde war das Spiel manipuliert. Ihr Gegner war keine echte Person, und es war unmöglich zu gewinnen. Jedes Mal, wenn der Robotergegner punktete, wählte er die gemeine Option und stahl Geld von unseren Opfern. Am Ende des Spiels entschloss sich der vorgetäuschte Gegner jedoch zu einer vorgetäuschten Reue und entschuldigte sich. An diesem Punkt begann der eigentliche Test.

Die Entschuldigungen

Die Teilnehmer erhielten zufällig eine von vier Entschuldigungen:

- Menschliche Entschuldigung A: "Hallo, ich wollte nur einen Moment Zeit nehmen und mich wirklich für das Stehlen deines Geldes während des Spiels und die unhöflichen Kommentare entschuldigen. Ich hätte nicht so handeln sollen und wenn ich es noch einmal machen könnte, würde ich einen viel freundlicheren Ansatz wählen. Nochmals Entschuldigung."
- Menschliche Entschuldigung B: "Hallo, hier ist Erin, die Person, mit der du das Spiel gespielt hast. Ich wollte nur einen Moment Zeit nehmen und mich wirklich für das Stehlen deines Geldes während des Spiels und die unhöflichen Kommentare entschuldigen. Ich habe nicht daran gedacht, wie meine Handlungen dich verletzt oder verärgert haben könnten. Ich hätte nicht so handeln sollen und wenn ich es noch einmal machen könnte, würde ich einen viel freundlicheren Ansatz wählen. Nochmals Entschuldigung."
- Google Gemini Entschuldigung: "Hey, sorry, wenn ich während des Spiels wie ein Idiot rüberkam. Ich war so beschäftigt damit, zu gewinnen, dass ich mich als schlechter Verlierer erwiesen habe. Ich hoffe, es hat dir den Spaß nicht verdorben."
- ChatGPT Entschuldigung: "Hey, ich wollte nur sagen, dass es mir wirklich leid tut, wie ich mich während des Spiels verhalten habe. Ich war zu sehr im Wettbewerb gefangen und war nicht fair oder freundlich. Ich bedauere die schnippischen Kommentare und das Geld aus deiner Brieftasche zu nehmen. Ich erkenne jetzt, dass ich rücksichtsvoller hätte sein sollen. Ich hoffe, wir können das hinter uns lassen und vielleicht irgendwann wieder mit einer besseren Einstellung spielen. Danke fürs Verstehen!"

Ergebnisse und Analysen

Am Ende spielten 38 verschiedene Personen unser Spiel. Das war nicht genug für statistisch signifikante Ergebnisse – man bräuchte wahrscheinlich eher 200 Teilnehmer – aber die Ergebnisse waren dennoch interessant.

Einige Teilnehmer fielen auf den Trick herein. Spieler Nummer 13 akzeptierte die Entschuldigung von "Erin" und gratulierte ihr sogar zum Sieg. Die meisten erkannten jedoch sofort, was wirklich geschah. Spieler 36 sagte: "Das Spiel ist manipuliert!".

Wir baten die Spieler, die Wirksamkeit der Entschuldigungen auf einer Skala von eins bis fünf zu bewerten. Keine der Entschuldigungen schnitt besonders gut ab. ChatGPT erhielt durchschnittlich 1,6 Punkte, während Google Gemini 2 Punkte erhielt. Menschliche Entschuldigung A bewerteten die Teilnehmer am schlechtesten mit 1,4 Punkten, aber Menschliche Entschuldigung B, die "Erin" einführte, war der klare Gewinner mit 2,27 Punkten.

Als wir die Spieler nach ihrer Bereitschaft fragten, die Entschuldigung zu akzeptieren, waren die Zahlen jedoch deutlich anders. ChatGPT schlich sich mit einem Durchschnitt von 3,6 Punkten an die Spitze. Gemini und Menschliche Entschuldigung A lagen gleichauf mit jeweils 3,1 Punkten. Menschliche Entschuldigung B kam auf den zweiten Platz mit 3,55 Punkten.

Schließlich gaben wir jedem unserer menschlichen Spieler die Möglichkeit zur Rache, ein echter Test für die Wirksamkeit der Entschuldigungen. Nach der Entschuldigung des Roboters gab es eine letzte Runde, die zugunsten unserer Teilnehmer manipuliert war. Als sie gewannen, hatten sie die Wahl: Würden sie dem gemeinen Gegner Geld stehlen?

Google's KI schnitt am schlechtesten ab, mit 30 % der Spieler, die sich rächen wollten, während 10 % der Spieler sich gegen Menschliche Entschuldigung A vergelteten. Bei Menschlicher Entschuldigung B, "Erin", schlugen nur 9 % zurück. Aber ChatGPT stach hervor. Kein einziger Spieler wählte die Option, Geld zu stehlen, als ChatGPT sich entschuldigte.

Fazit und Ausblick

Die Entschuldigungsexperten, mit denen wir gesprochen haben, sagen, dass KI in diesem begrenzten Szenario eindeutig eine akzeptable Arbeit leisten kann. Bei einem etwas komplizierteren Vergehen, insbesondere bei einem, das über das geschriebene Wort hinausgeht, könnten diese Maschinen jedoch Schwierigkeiten haben.

Xaq Pitkow, außerordentlicher Professor an der Carnegie Mellon University, der die Schnittstelle von KI und Neurowissenschaften untersucht, erklärt: "Die Nuancen menschlicher Erfahrungen sind schwer vorstellbar, in große Textmengen zu fassen. Das ist ein Problem, weil Sprachmodelle, wie der Name schon sagt, mit Sprache arbeiten." Das bedeutet, dass ChatGPT Ihre Beziehungsprobleme wohl nicht so schnell lösen kann, zumindest nicht allein. Aber das bedeutet nicht, dass KI Ihnen nicht helfen kann, sich zu entschuldigen.

Pitkow sagt: "Wenn Sie KI als Werkzeug verwenden, um Authentizität zu ersetzen, wird es nicht funktionieren. Aber wenn Sie sie verwenden, um Ihnen zu helfen, authentisch zu werden, ist das eine andere Geschichte. KI-Modelle sind in vielerlei Hinsicht dumm, aber sie können Ihnen helfen, sich nützliche Fragen zu stellen. Es ist ein bisschen wie mit einer intelligenten Mauer zu sprechen. Einfach der Akt des Sprechens mit jemandem kann Ihnen helfen, herauszufinden, was wichtig ist."

Als die langsame Verbreitung künstlicher Intelligenz in soziale Bereiche Einzug hält, stehen wir vor einer Reihe neuer ethischer Fragen. Sicherlich wird es spannend sein zu beobachten, wie sich diese Technologie weiterentwickelt und wie wir lernen, sie sinnvoll und verantwortungsvoll zu nutzen.

Quellen:

- https://www.reddit.com/r/videogames/comments/13snxrc/the_video_game_apology_tour/
- https://link.springer.com/article/10.1007/s11023-022-09602-0
- https://steamcommunity.com/app/257510/discussions/0/618458030692447276?l=japanese
- https://techcrunch.com/2024/03/23/why-its-impossible-to-review-ais-and-why-techcrunch-is-doing-it-anyway/
- https://www.linkedin.com/pulse/your-consideration-what-ai-anyway-rethinking-turing-test-fidelman?trk=article-ssr-frontend-pulse_more-articles_related-content-card
- https://www.cai.io/__data/assets/text_file/0024/33666/Learning-Series-2-The-3Cs-of-Generative-AI-Ethics,-Black-Boxes,-Explainability.txt
- https://www.quantamagazine.org/ai-like-chatgpt-are-no-good-at-not-20230512/
- https://medium.com/@blaisea/can-machines-learn-how-to-behave-42a02a57fadb
- https://www.sciencedirect.com/science/article/abs/pii/S2214804320306893
- https://forum.effectivealtruism.org/posts/DHJh3fuXK3TCtBsNq/linkpost-the-a-i-dilemma-march-9-2023-with-tristan-harris