ChatGPT: Neue Methode zur Reduzierung von Halluzinationen entdeckt

Die fortschreitende Entwicklung der Künstlichen Intelligenz (KI) bringt nicht nur beeindruckende Fortschritte, sondern auch Herausforderungen mit sich. Eine dieser Herausforderungen sind die sogenannten Halluzinationen von KI-Modellen wie ChatGPT. Forscher:innen der Universität Oxford haben nun eine neue Methode entwickelt, um diese Halluzinationen zu reduzieren und die Zuverlässigkeit der KI zu verbessern.

Das Problem der Halluzinationen

Halluzinationen in KI-Modellen beziehen sich auf Aussagen, die zwar plausibel klingen, aber faktisch falsch oder komplett erfunden sind. Dies stellt ein erhebliches Problem dar, da Nutzer:innen oft nicht in der Lage sind, zwischen korrekten und falschen Informationen zu unterscheiden, wenn sie sich auf die KI verlassen. In der Praxis kann dies fatale Folgen haben, insbesondere wenn die KI in kritischen Bereichen wie dem Rechtswesen oder der Medizin eingesetzt wird.

Die neue Methode der Universität Oxford

Die Forscher:innen der Universität Oxford haben eine Methode entwickelt, die die Wahrscheinlichkeit von Halluzinationen verringern soll. Diese Methode basiert auf der Idee, die Unsicherheit im Bedeutungsgehalt der generierten Antworten zu messen anstatt nur die Unsicherheit in der Wortwahl zu betrachten.

Um die Methode zu testen, stellten die Forscher:innen dem Modell ChatGPT wiederholt dieselbe Frage, beispielsweise „Wo steht der Eiffelturm?“ Die Antworten wie „Paris“, „Er steht in Paris“ oder „In Paris, der Hauptstadt Frankreichs“ werden als semantische Cluster gruppiert. Diese Cluster haben eine höhere Wahrscheinlichkeit als seltenere, falsche Antworten wie „Rom“ oder „Berlin“.

Wie die Methode funktioniert

Das System sortiert die Antworten über ein weiteres Sprachmodell in semantische Cluster. Dabei werden alle Wahrscheinlichkeiten der einzelnen Begriffe zusammengezählt. Das Cluster mit den korrekten Antworten erhält dadurch eine deutlich höhere Wahrscheinlichkeit als seltenere, falsche Antworten. Dies führt dazu, dass die richtigen Antworten häufiger generiert werden.

Ein weiterer Vorteil dieser Methode ist, dass sie nicht nur die Unsicherheit in der Wortwahl, sondern auch im Bedeutungsgehalt der Antworten berücksichtigt. Wenn ein Modell auf dieselbe Anfrage unterschiedliche Antworten mit gleicher Bedeutung liefert, ist das Modell sich sicher über die Antwort. Wenn jedoch unterschiedliche Bedeutungen generiert werden, zeigt dies eine Unsicherheit des Modells an.

Praktische Anwendungen und Zukunftsperspektiven

Laut den Forscher:innen ist die Methode deutlich effektiver als andere etablierte Techniken zur Reduzierung von Halluzinationen. Zukünftig könnte diese Methode in verschiedenen großen Sprachmodellen zum Einsatz kommen, um deren Genauigkeit und Zuverlässigkeit zu verbessern.

In einem Interview mit der Times erklärte Sebastian Farquhar, einer der Autoren der Studie, dass eine KI mit weniger Halluzinationen in Bereichen eingesetzt werden könnte, in denen dies heute noch undenkbar ist, etwa im Rechtswesen oder in der Medizin. Auch Privatanwender:innen könnten von dieser Technik profitieren. Farquhar schlägt vor, dass OpenAI einen Button für die semantische Wahrscheinlichkeit einer Antwort implementieren könnte. Nutzer:innen könnten so sehen, wie sicher sich die KI bei der Antwort ist und wie oft sie semantisch identische Antworten geliefert hat.

Herausforderungen und Kritiken

Trotz der vielversprechenden Ergebnisse gibt es auch Kritiken und Herausforderungen, die mit der Implementierung dieser Methode verbunden sind. Die Berechnung der semantischen Unsicherheit ist rechenintensiv, insbesondere für längere Antworten. Zudem kann die Methode nur die Modellanbieter anwenden, um Fakten zu überprüfen, nicht aber die Nutzer:innen selbst.

Philipp Hennig, Professor für die Methoden des Maschinellen Lernens an der Eberhard-Karls-Universität Tübingen, betont, dass die Methode zwar eine wichtige Form von KI-Fehlverhalten erkennt, aber kein Allheilmittel darstellt. Auch Barbara Hammer, Professorin für Maschinelles Lernen an der Universität Bielefeld, weist darauf hin, dass Methoden, bei denen keine externen und verifizierten Informationen vorliegen, an ihre Grenzen stoßen müssen.

Fazit

Die neue Methode der Universität Oxford zur Reduzierung von Halluzinationen in KI-Modellen wie ChatGPT stellt einen wichtigen Fortschritt dar. Sie ermöglicht es, die Unsicherheit im Bedeutungsgehalt der generierten Antworten zu messen und dadurch die Wahrscheinlichkeit von falschen Aussagen zu verringern. Dennoch bleibt die Herausforderung bestehen, diese Methoden effektiv und effizient in der Praxis zu implementieren. Die Forschung in diesem Bereich wird weiterhin von entscheidender Bedeutung sein, um die Zuverlässigkeit und Akzeptanz von KI-Systemen in verschiedenen Anwendungsbereichen zu erhöhen.

Mindverse, als führendes deutsches Unternehmen für KI-Lösungen, wird diese Entwicklungen aufmerksam verfolgen und weiterhin daran arbeiten, innovative und zuverlässige KI-Technologien zu entwickeln und zu implementieren.

Bibliographie

   - https://www.finanznachrichten.de/nachrichten-2024-06/62549188-chatgpt-forscher-haben-eine-neue-methode-gefunden-halluzinationen-zu-reduzieren-397.htm
   - https://twitter.com/t3n/status/1804097727397003445
   - https://www.faz.net/pro/d-economy/kuenstliche-intelligenz/neue-methode-soll-halluzinationen-der-sprachmodelle-vermeiden-19802707.html
   - https://www.it-boltwise.de/luegendetektor-fuer-ki-forscher-bekaempfen-halluzinationen-bei-sprachmodellen.html
   - https://www.handelsblatt.com/technik/ki/kuenstliche-intelligenz-forscher-entwickeln-luegendetektor-fuer-ki/100045962.html
   - https://www.heise.de/hintergrund/Kuenstliche-Intelligenz-Der-schwere-Kampf-gegen-Halluzinationen-9626714.html
   - https://www.ergo.com/-/media/ergocom/pdf-mediathek/whitepaper/2023-ergo-whitepaper-chatgpt-und-sprachmodelle.pdf
   - https://www.boeckler.de/fpdf/HBS-008697/p_fofoe_WP_304_2023.pdf