Zwischen Mensch und Maschine: Die Evolution der Planungsfähigkeiten in der KI-Forschung

Planung als Meilenstein menschlicher Intelligenz: Ein Blick auf die Herausforderungen und Fortschritte in der KI-Forschung

Planung gilt als eines der herausragenden Merkmale menschlicher Intelligenz. Dieser evolutionäre Fortschritt beruht auf zahlreichen anderen Fähigkeiten, wie der iterativen Sammlung von Informationen und Entscheidungsfindung, der Aufzeichnung zwischenzeitlicher Pläne – sei es im Arbeitsgedächtnis oder auf einem physischen Medium – und der Erkundung alternativer Pläne durch Simulationen, die wiederum ein Weltmodell voraussetzen. Weitere Grundlagen sind das Lernen durch Versuch und Irrtum, fallbasiertes Schließen, Rückverfolgung und vieles mehr.

Über Jahrzehnte haben Forscher versucht, KI-Agenten zu entwickeln, die menschliche Planungsfähigkeiten nachahmen können, allerdings meist in begrenzten Umgebungen, da viele der für menschenähnliche Planung notwendigen kognitiven Substrate fehlten. KI-Agenten, die in den weitgehend unbeschränkten Umgebungen, in denen Menschen agieren, robust arbeiten können, bleiben ein fernes Ziel.

In diesem Zusammenhang haben Sprachagenten, angetrieben von Large Language Models (LLMs), im Jahr 2023 Aufmerksamkeit erregt und stehen kurz davor, 2024 in vielen realen Anwendungen eingesetzt zu werden. Sie nutzen Sprache als Werkzeug für Denken und Kommunikation und haben interessante Fähigkeiten wie Werkzeuggebrauch und verschiedene Formen des Schließens gezeigt, die potenziell einige der bisher fehlenden kognitiven Substrate ersetzen könnten. Doch sind sie in der Lage, komplexe Planungsaufgaben zu bewältigen, die bisherigen Agenten nicht zugänglich waren?

Um diese Frage zu untersuchen, wurde TravelPlanner, ein neuer Planungsbenchmark, vorgestellt, der sich auf ein alltägliches Planungsszenario konzentriert: die Reiseplanung. Diese ist auch für Menschen eine anspruchsvolle und zeitaufwendige Aufgabe, aber die meisten können sie mit den richtigen Werkzeugen und genügend Zeit erfolgreich bewältigen. Interessant ist, dass es für Menschen schwierig ist, einen guten Plan zu erstellen (geschulte Annotatoren benötigen durchschnittlich 12 Minuten zur Planerstellung), es jedoch relativ einfach ist, die Qualität eines von einer KI erzeugten Plans zu beurteilen. Wenn also ein KI-Agent dies leisten könnte, würde er zu einem äußerst nützlichen Werkzeug werden, um Zeit zu sparen, auf eine nachprüfbare und vertrauenswürdige Weise.

TravelPlanner bietet eine reichhaltige Sandbox-Umgebung mit etwa vier Millionen aus dem Internet gesammelten Dateneinträgen, die über sechs Werkzeuge zugänglich sind. Zudem wurden 1.225 vielfältige Benutzeranfragen (samt Referenzplänen) sorgfältig kuratiert, die jeweils eine unterschiedliche Kombination von Einschränkungen vorgeben.

Doch wie steht es um die Fähigkeit heutiger Sprachagenten, Reisen zu planen? Die kurze Antwort lautet: noch nicht. In einer umfassenden Bewertung von State-of-the-Art LLMs (GPT-4/Gemini/Mixtral/etc.) und Planungsstrategien (ReAct/Reflexion/etc.) konnte die beste Erfolgsrate lediglich 0,6 % (6 von 1000) erreichen. Sprachagenten haben Schwierigkeiten, bei der Aufgabe zu bleiben, die richtigen Werkzeuge zur Informationsbeschaffung zu verwenden oder mehrere Einschränkungen gleichzeitig im Auge zu behalten. Dennoch ist allein die Möglichkeit, dass Sprachagenten sich an solch einem komplexen Problem versuchen, ein nicht zu unterschätzender Fortschritt. Es wird gehofft, dass TravelPlanner eine herausfordernde, aber sinnvolle Testumgebung für zukünftige Sprachagenten bietet, um sich auf menschenähnliche Planung in komplexen Umgebungen zuzubewegen.

Die Entwicklung von KI-Agenten, die in der Lage sind, Planungsaufgaben auf menschlichem Niveau auszuführen, ist ein langfristiges Ziel der Forschung. Es erfordert eine enge Zusammenarbeit zwischen unterschiedlichen Disziplinen wie Linguistik, Kognitionswissenschaft und Informatik. Die Fortschritte in diesem Bereich könnten nicht nur die KI-Forschung vorantreiben, sondern auch praktische Anwendungen in verschiedenen Branchen revolutionieren.

Die Relevanz der Sprachagenten und ihre potenzielle Fähigkeit zur Planung sind ein aufregender Schritt in der Künstlichen Intelligenz – eine Technologie, die die Art und Weise, wie wir arbeiten, kommunizieren und unsere Welt verstehen, grundlegend verändern könnte.

Quellen:
- OSU NLP Group. "TravelPlanner" [Online verfügbar: https://osu-nlp-group.github.io/TravelPlanner/]
- Arxiv. "TravelPlanner: A Benchmark for Real-World Planning with Language Agents" [Online verfügbar: https://arxiv.org/abs/2402.01622]
- GitHub. "TravelPlanner Code Repository" [Online verfügbar: https://github.com/OSU-NLP-Group/TravelPlanner…]
- Hugging Face. "TravelPlanner Dataset" [Online verfügbar: https://huggingface.co/datasets/osunlp/TravelPlanner…]