Ein Blick hinter die Kulissen von ChatGPT: OpenAI gewährt Einblicke in die Funktionsweise

Inmitten zunehmender Kritik und Bedenken hinsichtlich der Sicherheit und des verantwortungsvollen Einsatzes von Künstlicher Intelligenz (KI) hat OpenAI kürzlich einen Forschungsbericht veröffentlicht, der die inneren Abläufe des beliebten Chatbots ChatGPT näher beleuchtet. Diese Veröffentlichung erfolgt nur wenige Tage nachdem ehemalige Mitarbeiter des Unternehmens OpenAI vorgeworfen hatten, zu risikoreich mit ihrer Technologie umzugehen.

Die Technologie hinter ChatGPT

ChatGPT basiert auf einer Familie sogenannter großer Sprachmodelle (Large Language Models, LLMs) namens GPT (Generative Pre-trained Transformer). Diese Modelle verwenden künstliche neuronale Netzwerke, um durch Analyse von Beispieldaten nützliche Aufgaben zu erlernen. Anders als herkömmliche Computerprogramme können die inneren Abläufe dieser neuronalen Netzwerke jedoch nicht leicht überprüft werden.

Die Komplexität der Interaktionen zwischen den Ebenen der „Neuronen“ innerhalb eines künstlichen neuronalen Netzwerks macht es enorm schwierig, nachzuvollziehen, warum ein System wie ChatGPT eine bestimmte Antwort gibt. „Anders als bei den meisten menschlichen Erfindungen verstehen wir die inneren Abläufe von neuronalen Netzwerken nicht wirklich“, schreiben die Forscher in einem begleitenden Blogeintrag.

Neue Forschung zur Erklärbarkeit von KI

OpenAI hat eine Methode entwickelt, um die Funktionsweise ihrer KI-Modelle transparenter zu machen. In einem neuen Forschungsbericht legt das Unternehmen eine Technik dar, mit der man Muster identifizieren kann, die bestimmte Konzepte innerhalb eines maschinellen Lernsystems darstellen. Diese Technik wird durch ein zusätzliches maschinelles Lernmodell unterstützt, das dabei hilft, Konzepte effizienter zu identifizieren.

Das Unternehmen hat diese Methode an GPT-4, einem ihrer größten KI-Modelle, erprobt. OpenAI veröffentlichte hierzu Code und ein Visualisierungstool, mit dem man sehen kann, wie Wörter in verschiedenen Sätzen Konzepte wie Obszönität und erotischen Inhalt in GPT-4 und einem anderen Modell aktivieren. Das Wissen darüber, wie ein Modell bestimmte Konzepte darstellt, könnte ein Schritt in Richtung der Fähigkeit sein, Verhaltensweisen zu kontrollieren und die Leistung eines KI-Systems gezielt zu steuern.

Reaktionen aus der Forschungsgemeinschaft

David Bau, Professor an der Northeastern University, der sich mit der Erklärbarkeit von KI beschäftigt, bezeichnet die Forschung von OpenAI als „aufregenden Fortschritt“. „Als Fachgebiet müssen wir lernen, diese großen Modelle viel besser zu verstehen und zu überprüfen“, sagt Bau. Er hebt hervor, dass die zentrale Innovation des OpenAI-Teams darin besteht, eine effizientere Methode zur Konfiguration eines kleinen neuronalen Netzwerks zu zeigen, mit dem die Komponenten eines größeren Netzwerks verstanden werden können. Allerdings merkt er an, dass die Technik weiter verfeinert werden muss, um sie zuverlässiger zu machen.

Bau ist Teil einer von der US-Regierung finanzierten Initiative namens National Deep Inference Fabric, die Cloud-Computing-Ressourcen für akademische Forscher bereitstellt, damit auch sie besonders leistungsstarke KI-Modelle untersuchen können. „Wir müssen herausfinden, wie wir Wissenschaftler in die Lage versetzen können, diese Arbeit zu leisten, auch wenn sie nicht bei diesen großen Unternehmen arbeiten“, sagt er.

Herausforderungen und zukünftige Entwicklungen

Die Forscher von OpenAI erkennen in ihrem Bericht an, dass noch weitere Arbeiten erforderlich sind, um ihre Methode zu verbessern. Dennoch hoffen sie, dass dies zu praktischen Wegen führen wird, um KI-Modelle zu kontrollieren. „Wir hoffen, dass die Erklärbarkeit eines Tages neue Möglichkeiten bieten wird, über die Sicherheit und Robustheit von Modellen nachzudenken und unser Vertrauen in leistungsstarke KI-Modelle erheblich zu erhöhen, indem wir starke Zusicherungen über ihr Verhalten geben können“, schreiben sie.

Fazit

Die Veröffentlichung dieser Forschung durch OpenAI ist ein bedeutender Schritt in Richtung mehr Transparenz und Sicherheit im Bereich der künstlichen Intelligenz. Indem sie Einblicke in die Funktionsweise von Modellen wie ChatGPT gewähren, zeigt OpenAI ihr Engagement für die verantwortungsvolle Entwicklung von KI-Technologien. Gleichzeitig unterstreicht dies die Notwendigkeit fortlaufender Forschung und Zusammenarbeit, um die potenziellen Risiken und Herausforderungen dieser mächtigen Technologien zu bewältigen.

Mindverse, als führendes deutsches Unternehmen im Bereich KI, wird diese Entwicklungen sicherlich aufmerksam verfolgen und möglicherweise eigene Lösungen zur Verbesserung der Transparenz und Sicherheit von KI-Modellen entwickeln.

- https://www.nytimes.com/2024/05/21/technology/ai-language-models-anthropic.html
- https://newstral.com/en/article/en/1254044418/openai-offers-a-peek-inside-the-guts-of-chatgpt
- https://sg.news.yahoo.com/openai-offers-peek-behind-curtain-195200755.html
- https://www.bensbites.com/case-study/how-mistral-ai-an-openai-competitor-rocketed-to-2bn-in-12-months
- https://www.technologyreview.com/2023/03/03/1069311/inside-story-oral-history-how-chatgpt-built-openai/
- https://www.linkedin.com/posts/imjakesmall_have-you-ordered-for-every-black-boy-on-activity-7196864536648237057-V4w_
- https://www.sciencefocus.com/
- https://www.linkedin.com/posts/imjakesmall_here-queer-black-activity-7056627927773245440-lNSj