Sprachmodelle und die probabilistische Form des Denkens

Künstliche Intelligenz (KI) hat in den letzten Jahren enorme Fortschritte gemacht, insbesondere im Bereich der Sprachmodelle. Diese Modelle, die auf riesigen Datenmengen trainiert werden, sind in der Lage, menschenähnlichen Text zu generieren, Fragen zu beantworten und komplexe Aufgaben zu bewältigen. Ein aktuelles Forschungsgebiet befasst sich mit der Frage, wie Sprachmodelle Denkprozesse simulieren und ob diese mit menschlichem Denken vergleichbar sind.

Chain-of-Thought Prompting und seine Grenzen

Eine vielversprechende Methode, um die Argumentationsfähigkeit von Sprachmodellen zu verbessern, ist das sogenannte "Chain-of-Thought Prompting" (CoT). Bei dieser Technik werden die Modelle dazu aufgefordert, Zwischenschritte bei der Lösung einer Aufgabe zu generieren und zu verbalisieren, bevor sie die endgültige Antwort liefern. Studien haben gezeigt, dass CoT die Leistung von Sprachmodellen bei Aufgaben, die mehrstufige Überlegungen erfordern, deutlich verbessern kann.

Es ist jedoch wichtig zu beachten, dass CoT-Prompting nicht gleichbedeutend mit abstraktem, menschenähnlichem Denken ist. Vielmehr deutet die Forschung darauf hin, dass die Leistung von Sprachmodellen bei CoT-Aufgaben stark von drei Faktoren beeinflusst wird: Wahrscheinlichkeit, Memorierung und "verrauschte" Argumentation.

Der Einfluss von Wahrscheinlichkeit, Memorierung und "verrauschter" Argumentation

• **Wahrscheinlichkeit:** Die Wahrscheinlichkeit des erwarteten Ergebnisses spielt eine entscheidende Rolle. Sprachmodelle neigen dazu, Antworten zu bevorzugen, die in ihren Trainingsdaten häufig vorkamen. Das bedeutet, dass Aufgaben mit hoher Wahrscheinlichkeit für ein bestimmtes Ergebnis oft besser gelöst werden als Aufgaben mit einer geringeren Wahrscheinlichkeit.
• **Memorierung:** Sprachmodelle sind in der Lage, enorme Datenmengen zu speichern. Daher ist es möglich, dass sie bei bestimmten Aufgaben einfach auf auswendig gelernte Muster zurückgreifen, anstatt tatsächlich logische Schlüsse zu ziehen. Dies gilt insbesondere für Aufgaben, die in den Trainingsdaten häufig vorkamen.
• **"Verrauschte" Argumentation:** Sprachmodelle können zwar logische Schlüsse ziehen, aber diese sind oft "verrauscht" und fehleranfällig. Das bedeutet, dass die Modelle zwar in der Lage sind, logische Schritte zu generieren, aber die Wahrscheinlichkeit von Fehlern steigt mit der Komplexität der Aufgabe.

Die Rolle der Zwischenschritte

Ein interessantes Ergebnis der Forschung ist die Bedeutung der Zwischenschritte, die Sprachmodelle bei CoT-Aufgaben generieren. Diese Schritte liefern wichtigen Kontext, auf den sich das Modell bei der Generierung der endgültigen Antwort stützt. Überraschenderweise scheint die Korrektheit der Inhalte in den Zwischenschritten weniger wichtig zu sein als die Tatsache, dass das Modell das Format der Argumentation übernimmt und selbständig ähnliche Schritte generiert.

Schlussfolgerung: Eine probabilistische Form des Denkens

Die Forschung legt nahe, dass die Argumentationsfähigkeit von Sprachmodellen, wie sie durch CoT-Prompting demonstriert wird, sowohl auf Memorierung als auch auf einer probabilistischen Form des Denkens basiert. Das bedeutet, dass die Modelle zwar in der Lage sind, logische Schlüsse zu ziehen, aber gleichzeitig stark von Wahrscheinlichkeiten und gelernten Mustern beeinflusst werden. Anstatt also auf einem rein symbolischen Denksystem zu basieren, wie es beim Menschen der Fall ist, scheinen Sprachmodelle eine eigene, probabilistische Herangehensweise an komplexe Aufgaben zu entwickeln.

Die Erforschung dieser probabilistischen Form des Denkens ist essenziell, um die Möglichkeiten und Grenzen von Sprachmodellen besser zu verstehen. Sie könnte außerdem neue Perspektiven auf die Funktionsweise des menschlichen Denkens eröffnen und dazu beitragen, KI-Systeme zu entwickeln, die zuverlässiger, transparenter und vertrauenswürdiger sind.

Bibliographie

Bengio, Y., Ducharme, R., Vincent, P., & Janvin, C. (2003). A Neural Probabilistic Language Model. Journal of Machine Learning Research, 3, 1137–1155.
Dasgupta, I., Lampinen, A. K., Chan, S. C. Y., Sheahan, H. R., Creswell, A., Kumaran, D., McClelland, J. L., & Hill, F. (2024). Language models, like humans, show content effects on reasoning tasks. PNAS Nexus, 3(7), pgae233. https://doi.org/10.1093/pnasnexus/pgae233
Nafar, A., Venable, K. B., & Kordjamshidi, P. (2024). Probabilistic Reasoning in Generative Large Language Models. arXiv. https://doi.org/10.48550/ARXIV.2402.09614
Ozturkler, B., Malkin, N., Wang, Z., & Jojic, N. (2023). ThinkSum: Probabilistic reasoning over sets using large language models. In Proceedings of the 61st Annual Meeting of the Association for Computational Linguistics (Vol. 1, pp. 1216–1239). Association for Computational Linguistics. https://doi.org/10.18653/v1/2023.acl-long.68
Prabhakar, A., Griffiths, T. L., & McCoy, R. T. (2024). Deciphering the Factors Influencing the Efficacy of Chain-of-Thought: Probability, Memorization, and Noisy Reasoning. arXiv. https://doi.org/10.48550/ARXIV.2407.01687
Schreiner, M. (2024). Language models use a "probabilistic version of genuine reasoning". The Decoder. https://the-decoder.com/language-models-use-a-probabilistic-version-of-genuine-reasoning/
"Language model". (n.d.). In Wikipedia. Retrieved October 26, 2024, from https://en.wikipedia.org/wiki/Language_model