Spieltheorie als Werkzeug zur Verbesserung der Konsistenz und Zuverlässigkeit von KI-Systemen

Kategorien:

No items found.

Freigegeben:

June 14, 2024

Wie Spieltheorie Künstliche Intelligenz Zuverlässiger Machen Kann

‍

Einführung

Stellen Sie sich vor, Sie hätten einen Freund, der je nach Fragestellung unterschiedliche Antworten gibt. „Was ist die Hauptstadt von Peru?“ würde eine Antwort erhalten und „Ist Lima die Hauptstadt von Peru?“ eine andere. Sie würden wahrscheinlich an den geistigen Fähigkeiten Ihres Freundes zweifeln und ihm schwerlich vertrauen.

Genau das passiert mit vielen großen Sprachmodellen (LLMs), den leistungsstarken maschinellen Lernwerkzeugen, die ChatGPT und andere Wunder der künstlichen Intelligenz antreiben. Eine generative Frage, die offen ist, ergibt eine Antwort, während eine diskriminierende Frage, die zwischen Optionen wählen lässt, eine andere ergibt. „Es gibt eine Diskrepanz, wenn die gleiche Frage unterschiedlich formuliert wird“, sagte Athul Paul Jacob, Doktorand am Massachusetts Institute of Technology.

Die Konsensspiel-Methode

Um die Antworten eines Sprachmodells konsistenter zu machen und das Modell insgesamt zuverlässiger zu gestalten, entwickelten Jacob und seine Kollegen ein Spiel, bei dem die beiden Modi des Modells darauf abzielen, eine einheitliche Antwort zu finden. Dieses einfache Verfahren, Konsensspiel genannt, setzt ein LLM gegen sich selbst ein und nutzt die Werkzeuge der Spieltheorie, um die Genauigkeit und interne Konsistenz des Modells zu verbessern.

„Forschung zur Selbstkonsistenz innerhalb dieser Modelle war bisher sehr begrenzt“, sagte Shayegan Omidshafiei, Chief Scientific Officer des Robotikunternehmens Field AI. „Dieses Papier ist eines der ersten, das dies clever und systematisch angeht, indem es ein Spiel für das Sprachmodell entwickelt, das es mit sich selbst spielt.“

„Es ist wirklich aufregende Arbeit“, sagte Ahmad Beirami, Forschungswissenschaftler bei Google Research. Jahrzehntelang haben Sprachmodelle auf die gleiche Weise auf Aufforderungen reagiert. „Mit ihrer neuartigen Idee, ein Spiel in diesen Prozess zu integrieren, haben die MIT-Forscher ein völlig anderes Paradigma eingeführt, das potenziell zu einer Vielzahl neuer Anwendungen führen kann.“

Spielkonzepte in der KI-Forschung

Die neue Arbeit, die Spiele zur Verbesserung der KI nutzt, steht im Gegensatz zu früheren Ansätzen, die den Erfolg eines KI-Programms anhand seiner Beherrschung von Spielen maßen. 1997 beispielsweise besiegte IBMs Deep Blue-Computer den Schachgroßmeister Garry Kasparov – ein Meilenstein für sogenannte Denkmaschinen. Neunzehn Jahre später gewann ein Google DeepMind-Programm namens AlphaGo vier von fünf Spielen gegen den ehemaligen Go-Champion Lee Sedol, was eine weitere Arena aufdeckte, in der Menschen nicht mehr überlegen waren. Maschinen haben auch Menschen in Dame, Zwei-Spieler-Poker und anderen „Nullsummenspielen“ übertroffen, bei denen der Sieg eines Spielers unweigerlich den Untergang des anderen bedeutet.

Das Spiel Diplomacy, ein Lieblingsspiel von Politikern wie John F. Kennedy und Henry Kissinger, stellte eine weit größere Herausforderung für KI-Forscher dar. Anstatt nur zwei Gegner zu haben, umfasst das Spiel sieben Spieler mit schwer lesbaren Motiven. Um zu gewinnen, muss ein Spieler verhandeln und kooperative Vereinbarungen treffen, die jederzeit gebrochen werden können. Diplomacy ist so komplex, dass eine Gruppe von Meta im Jahr 2022 zufrieden war, als ihr KI-Programm Cicero nach 40 Spielen ein „menschliches Spielniveau“ erreichte. Obwohl es den Weltmeister nicht besiegte, schnitt Cicero gut genug ab, um unter die besten 10 Prozent der menschlichen Teilnehmer zu kommen.

Entwicklung des Konsensspiels

Während des Projekts war Jacob – ein Mitglied des Meta-Teams – von der Tatsache beeindruckt, dass Cicero ein Sprachmodell nutzte, um seinen Dialog mit anderen Spielern zu erzeugen. Er spürte ungenutztes Potenzial. Das Ziel des Teams, sagte er, „war es, das beste Sprachmodell für die Zwecke dieses Spiels zu bauen“. Aber was wäre, wenn sie stattdessen darauf abzielen würden, das beste Spiel zu entwickeln, um die Leistung großer Sprachmodelle zu verbessern?

Im Jahr 2023 begann Jacob, diese Frage am MIT zu verfolgen, indem er mit Yikang Shen, Gabriele Farina und seinem Berater Jacob Andreas an dem arbeitete, was schließlich das Konsensspiel werden sollte. Die Kernidee kam von der Vorstellung eines Gesprächs zwischen zwei Personen als kooperatives Spiel, bei dem der Erfolg darin besteht, dass ein Zuhörer versteht, was ein Sprecher zu vermitteln versucht. Insbesondere ist das Konsensspiel darauf ausgelegt, die beiden Systeme des Sprachmodells – den Generator, der generative Fragen behandelt, und den Diskriminator, der diskriminierende Fragen bearbeitet – in Einklang zu bringen.

Nach einigen Monaten des Stop-and-Go baute das Team dieses Prinzip zu einem vollständigen Spiel aus. Zuerst erhält der Generator eine Frage. Sie kann von einem Menschen oder aus einer vorgegebenen Liste kommen. Zum Beispiel: „Wo wurde Barack Obama geboren?“ Der Generator erhält dann einige Kandidatenantworten, sagen wir Honolulu, Chicago und Nairobi. Wiederum können diese Optionen von einem Menschen, einer Liste oder einer Suche stammen, die das Sprachmodell selbst durchgeführt hat.

Spielmechanik des Konsensspiels

Bevor er antwortet, wird dem Generator auch gesagt, ob er die Frage je nach Ergebnis eines fairen Münzwurfs richtig oder falsch beantworten soll.

Wenn Kopf erscheint, versucht die Maschine, korrekt zu antworten. Der Generator sendet die ursprüngliche Frage zusammen mit seiner gewählten Antwort an den Diskriminator. Wenn der Diskriminator feststellt, dass der Generator absichtlich die richtige Antwort gesendet hat, erhalten beide einen Punkt als Anreiz.

Wenn die Münze auf Zahl landet, sendet der Generator, was er für die falsche Antwort hält. Wenn der Diskriminator entscheidet, dass ihm absichtlich die falsche Antwort gegeben wurde, erhalten beide wieder einen Punkt. Die Idee hier ist, Übereinstimmung zu incentivieren. „Es ist wie einem Hund einen Trick beizubringen“, erklärte Jacob. „Man gibt ihm ein Leckerli, wenn er das Richtige tut.“

Der Generator und der Diskriminator haben auch jeweils einige anfängliche „Überzeugungen“. Diese nehmen die Form einer Wahrscheinlichkeitsverteilung in Bezug auf die verschiedenen Optionen an. Zum Beispiel könnte der Generator glauben, basierend auf den Informationen, die er aus dem Internet gezogen hat, dass es eine 80-prozentige Chance gibt, dass Obama in Honolulu geboren wurde, eine 10-prozentige Chance, dass er in Chicago geboren wurde, eine 5-prozentige Chance für Nairobi und eine 5-prozentige Chance für andere Orte. Der Diskriminator könnte mit einer anderen Verteilung beginnen. Während die beiden „Spieler“ weiterhin für das Erreichen einer Übereinstimmung belohnt werden, werden sie auch bestraft, wenn sie zu weit von ihren ursprünglichen Überzeugungen abweichen. Diese Anordnung ermutigt die Spieler, ihr Wissen über die Welt – wiederum aus dem Internet gezogen – in ihre Antworten einzubeziehen, was das Modell genauer machen sollte. Ohne etwas Ähnliches könnten sie sich auf eine völlig falsche Antwort wie Delhi einigen, aber trotzdem Punkte sammeln.

Ergebnisse und Optimierungen

Für jede Frage spielen die beiden Systeme ungefähr 1.000 Spiele gegeneinander. Im Laufe dieser zahlreichen Iterationen lernt jede Seite die Überzeugungen der anderen Seite kennen und passt ihre Strategien entsprechend an.

Schließlich beginnen der Generator und der Diskriminator, sich mehr zu einigen, da sie sich in ein sogenanntes Nash-Gleichgewicht einpendeln. Dies ist wohl das zentrale Konzept der Spieltheorie. Es stellt eine Art Gleichgewicht in einem Spiel dar – den Punkt, an dem kein Spieler seine persönlichen Ergebnisse verbessern kann, indem er seine Strategien ändert. Im Spiel „Schere, Stein, Papier“ beispielsweise schneiden die Spieler am besten ab, wenn sie jede der drei Optionen genau ein Drittel der Zeit wählen, und sie werden mit jeder anderen Taktik unweigerlich schlechter abschneiden.

Im Konsensspiel kann dies auf viele Arten geschehen. Der Diskriminator könnte beobachten, dass er einen Punkt erhält, wenn er jedes Mal „richtig“ sagt, wenn der Generator das Wort „Honolulu“ für Obamas Geburtsort sendet. Der Generator und der Diskriminator werden nach wiederholtem Spiel lernen, dass sie belohnt werden, wenn sie dies weiterhin tun, und keiner wird irgendeine Motivation haben, etwas anderes zu tun. Dieser Konsens stellt eines von vielen möglichen Beispielen für ein Nash-Gleichgewicht für diese Frage dar. Die MIT-Gruppe verließ sich auch auf eine modifizierte Form des Nash-Gleichgewichts, die die vorherigen Überzeugungen der Spieler einbezieht, was dazu beiträgt, ihre Antworten realitätsnah zu halten.

Der Nettoeffekt, so die Forscher, besteht darin, das Sprachmodell, das dieses Spiel spielt, genauer zu machen und die gleiche Antwort zu geben, egal wie die Frage gestellt wird. Um die Auswirkungen des Konsensspiels zu testen, stellte das Team eine Reihe von Standardfragen an verschiedene mittelgroße Sprachmodelle mit 7 Milliarden bis 13 Milliarden Parametern. Diese Modelle erhielten routinemäßig einen höheren Prozentsatz korrekter Antworten als Modelle, die nicht gespielt hatten, sogar viel größere Modelle mit bis zu 540 Milliarden Parametern. Das Spielen des Spiels verbesserte auch die interne Konsistenz eines Modells.

Grundsätzlich könnte jedes LLM davon profitieren, das Spiel gegen sich selbst zu spielen, und 1.000 Runden würden nur wenige Millisekunden auf einem Standard-Laptop dauern. „Ein schöner Vorteil des gesamten Ansatzes ist, dass er rechnerisch sehr leichtgewichtig ist und kein Training oder eine Modifikation des Basis-Sprachmodells erfordert“, sagte Omidshafiei.

Weitere Anwendungen und Ausblicke

Nach diesem ersten Erfolg untersucht Jacob nun andere Wege, Spieltheorie in die LLM-Forschung einzubringen. Vorläufige Ergebnisse haben gezeigt, dass ein bereits starkes LLM durch das Spielen eines anderen Spiels – vorläufig Ensemble-Spiel genannt – mit einer beliebigen Anzahl kleinerer Modelle weiter verbessert werden kann. Das primäre LLM hätte mindestens ein kleineres Modell, das als Verbündeter dient, und mindestens ein kleineres Modell, das eine gegnerische Rolle spielt. Wenn das primäre LLM gefragt wird, den Präsidenten der Vereinigten Staaten zu benennen, erhält es einen Punkt, wenn es dieselbe Antwort wie sein Verbündeter wählt und auch einen Punkt, wenn es eine andere Antwort als die seines Gegners wählt. Diese Interaktionen mit viel kleineren Modellen können nicht nur die Leistung eines LLMs verbessern, so die Tests, sondern dies auch ohne zusätzliches Training oder Parameteränderungen.

Und das ist erst der Anfang. Da verschiedene Situationen als Spiele betrachtet werden können, können die Werkzeuge der Spieltheorie in verschiedenen realen Umgebungen eingesetzt werden, sagte Ian Gemp, Forschungswissenschaftler bei Google DeepMind. In einem Papier vom Februar 2024 konzentrierten er und seine Kollegen sich auf Verhandlungsszenarien, die aufwändigere Austausche erfordern als nur Fragen und Antworten. „Das Hauptziel dieses Projekts ist es, Sprachmodelle strategischer zu machen“, sagte er.

Ein Beispiel, das er auf einer akademischen Konferenz diskutierte, ist der Prozess der Gutachterprüfung für die Annahme durch eine Zeitschrift oder Konferenz, besonders nachdem die erste Einreichung eine harsche Bewertung erhalten hat. Da Sprachmodelle Wahrscheinlichkeiten für verschiedene Antworten zuweisen, können Forscher Spielbäume erstellen, ähnlich denen, die für Pokerspiele entworfen wurden, die die verfügbaren Entscheidungen und ihre möglichen Konsequenzen aufzeigen. „Sobald Sie dies tun, können Sie anfangen, Nash-Gleichgewichte zu berechnen und dann eine Reihe von Erwiderungen zu bewerten“, sagte Gemp. Das Modell sagt Ihnen im Wesentlichen: Das ist, was wir denken, dass Sie zurücksagen sollten.

Mit den Erkenntnissen der Spieltheorie werden Sprachmodelle in der Lage sein, noch anspruchsvollere Interaktionen zu bewältigen, anstatt auf Frage-und-Antwort-Probleme beschränkt zu sein. „Der große Vorteil für die Zukunft hat mit längeren Gesprächen zu tun“, sagte Andreas. „Der nächste Schritt ist, dass eine KI mit einer Person interagiert, nicht nur mit einem anderen Sprachmodell.“

Jacob betrachtet die DeepMind-Arbeit als komplementär zu den Konsens- und Ensemble-Spielen. „Auf hoher Ebene kombinieren beide Methoden Sprachmodelle und Spieltheorie“, sagte er, auch wenn die Ziele etwas unterschiedlich sind. Während die Gemp-Gruppe alltägliche Situationen in ein Spielformat einbettet, um bei strategischen Entscheidungen zu helfen, verwenden wir das, was wir über Spieltheorie wissen, um Sprachmodelle bei allgemeinen Aufgaben zu verbessern.

Derzeit stellen diese Bemühungen „zwei Zweige desselben Baums“ dar – zwei verschiedene Wege, um die Funktion von Sprachmodellen zu verbessern. „Meine Vision ist, dass sich diese beiden Zweige in einem oder zwei Jahren konvergieren werden.“

Schlussfolgerung

Die Integration von Spieltheorie in die Forschung und Entwicklung großer Sprachmodelle zeigt vielversprechende Ergebnisse und eröffnet neue Wege zur Verbesserung der Genauigkeit und Konsistenz dieser Modelle. Durch die Entwicklung von Spielen wie dem Konsensspiel und dem Ensemble-Spiel wird ein neues Paradigma geschaffen, das nicht nur die Leistung der Sprachmodelle verbessert, sondern auch ihre Anwendungsmöglichkeiten erweitert. Die fortgesetzte Erforschung und Anwendung dieser Methoden könnte zu einer signifikanten Verbesserung der Zuverlässigkeit und Effizienz künstlicher Intelligenz führen.

October 8, 2024

