Herausforderungen bei der Fehlererkennung in KI-Systemen am Beispiel von OpenAIs SearchGPT
OpenAIs SearchGPT-Demo-Fehler zeigt, wie schwer es ist, KI-Bullshit zu erkennen
Die Enthüllung von OpenAIs Prototyp einer KI-Suchmaschine, SearchGPT, verlief nicht wie geplant. Obwohl die Demo dazu dienen sollte, die Fähigkeiten des Tools zu demonstrieren, enthielt das vorab aufgezeichnete Video einen signifikanten Fehler. Diese Panne verdeutlicht die Schwierigkeiten, die bei der Erkennung und Vermeidung von Fehlern durch große Sprachmodelle bestehen.
Fehlerhafte Informationen in der Demo
Im Demo-Video wurde eine Suchanfrage nach „Musikfestivals in Boone, North Carolina im August“ gestellt. SearchGPT listete mehrere Festivals auf, wobei das „An Appalachian Summer Festival“ an erster Stelle stand, angeblich vom 29. Juli bis 16. August. Tatsächlich läuft das Festival jedoch vom 29. Juni bis 27. Juli, und die von SearchGPT angegebenen Daten beziehen sich auf die Schließzeiten der Festival-Kasse.
Warum passieren solche Fehler?
Diese Fehler treten auf, weil das KI-Modell die Bedeutung der generierten Sätze nicht versteht. Im Kontext der Suche formatiert es lediglich vorhandene Informationen neu und setzt sie in einen neuen Zusammenhang. Es versteht nicht, was es sagt, und kann daher sehr überzeugend falsche Informationen liefern.
Vergleich mit anderen Vorfällen
Dieser Vorfall erinnert an den Fehler von Googles Chatbot Bard, der in seiner ersten Demo fälschlicherweise behauptete, dass das James-Webb-Weltraumteleskop das erste Bild eines Exoplaneten aufgenommen habe. Auch dieser Fehler führte zu erheblichen negativen Reaktionen, einschließlich eines Verlusts von etwa 100 Milliarden US-Dollar an Marktwert für Alphabet.
Reaktionen und Maßnahmen
OpenAI-Sprecherin Kayla Wood erkannte den Fehler an und erklärte, „dies ist ein erster Prototyp, und wir werden ihn weiter verbessern.“ OpenAI verfolgt einen vorsichtigen Ansatz bei der Einführung von SearchGPT und hat den Prototyp nur einer begrenzten Anzahl von Nutzern zur Verfügung gestellt. Erfolgreiche Funktionen sollen mit der Zeit in ChatGPT integriert werden.
Google und Microsoft im Vergleich
Während Google auf ähnliche Fehler in seinen AI-Übersichten reagierte, indem es die Anzeigehäufigkeit dieser Übersichten signifikant reduzierte, hat Microsoft kürzlich eine ähnliche Funktion in Bing eingeführt. Auch Google hat öffentlich Fehler eingeräumt und Verbesserungen versprochen, doch das Grundproblem bleibt bestehen: Die Suchmodelle erzeugen weiterhin überzeugend falsche Informationen.
Das Skalierungsproblem
Selbst wenn OpenAI es schafft, die Halluzinationen in SearchGPT drastisch zu reduzieren, bleibt ein fundamentales Problem bestehen: Das Geschäftsmodell der Suche erfordert Skalierung. Mehr Nutzer bedeuten mehr Fehler. Selbst eine Halluzinationsrate von nur 1% würde bei Googles Maßstab zu Millionen falscher Antworten pro Tag führen.
Wirtschaftliche Fragen
Darüber hinaus sind LLM-Suchen wesentlich rechenintensiver und teurer als traditionelle Suchanfragen. Viele Fragen zur Wirtschaftlichkeit des Webs im Zeitalter der Chatbots bleiben unbeantwortet.
Schlussfolgerung
Die Fehler in der SearchGPT-Demo von OpenAI verdeutlichen die Herausforderungen, die mit der Nutzung großer Sprachmodelle für die Suche verbunden sind. Trotz der beeindruckenden Fortschritte in der KI bleibt die zuverlässige Eliminierung von Fehlern ein ungelöstes Problem. Die Entwicklung und Integration solcher Systeme erfordert weiterhin sorgfältige Tests und kontinuierliche Verbesserungen.
