Große Sprachmodelle (LLMs) haben in den letzten Jahren beeindruckende Fortschritte im Bereich der künstlichen Intelligenz erzielt. Ihre Fähigkeit, menschenähnlichen Text zu generieren, komplexe Aufgaben zu lösen und menschenähnliche Konversationen zu führen, hat die Art und Weise, wie wir mit Technologie interagieren, revolutioniert. Ein besonders wichtiges Anwendungsgebiet für LLMs ist das Befolgen von Anweisungen. Ob es darum geht, kreative Texte zu verfassen, Code zu generieren oder Fragen zu beantworten – die Fähigkeit, Anweisungen präzise umzusetzen, ist entscheidend für die Alltagstauglichkeit dieser Modelle. Aktuelle Studien zeigen jedoch, dass LLMs Schwierigkeiten haben, Anweisungen mit mehreren Einschränkungen zu befolgen. Ein Beispiel hierfür wäre die Aufforderung, einen Social-Media-Beitrag zu erstellen, der sowohl "lustig" sein soll als auch "keine Hashtags" enthalten darf. Trotz dieser Herausforderungen konzentrieren sich die meisten bisherigen Bewertungen von LLMs auf synthetische Daten, die die Komplexität realer Anwendungsfälle nicht widerspiegeln. Eine neue Forschungsarbeit mit dem Titel "LLM Self-Correction with DeCRIM: Decompose, Critique, and Refine for Enhanced Following of Instructions with Multiple Constraints" befasst sich mit diesem Problem und stellt eine neuartige Methode namens DeCRIM vor, die es LLMs ermöglicht, ihre eigene Ausgabe zu überprüfen und zu korrigieren, um die Einhaltung von Anweisungen mit mehreren Einschränkungen zu verbessern.

Herausforderungen bei Anweisungen mit mehreren Einschränkungen

Die Autoren der Arbeit betonen, dass die meisten aktuellen Benchmarks zur Bewertung der Fähigkeit von LLMs, Anweisungen zu befolgen, auf synthetischen Datensätzen basieren. Diese Datensätze sind zwar nützlich, um die grundlegenden Fähigkeiten eines Modells zu testen, spiegeln aber nicht die Komplexität und Vielfalt von Anweisungen wider, denen LLMs in realen Anwendungen begegnen. In der realen Welt erhalten LLMs oft Anweisungen, die mehrere, potenziell widersprüchliche Einschränkungen enthalten. Beispielsweise könnte ein Benutzer einen LLM bitten, einen Text zu schreiben, der sowohl informativ als auch unterhaltsam sein soll und gleichzeitig eine bestimmte Wortzahl nicht überschreiten darf. Die gleichzeitige Berücksichtigung all dieser Einschränkungen stellt eine große Herausforderung für LLMs dar.

DeCRIM: Ein dreistufiger Ansatz zur Selbstkorrektur

Um die Fähigkeit von LLMs zu verbessern, Anweisungen mit mehreren Einschränkungen zu befolgen, schlagen die Autoren von "LLM Self-Correction with DeCRIM" eine neuartige Methode namens DeCRIM vor. DeCRIM steht für "Decompose, Critique, and Refine" und beschreibt einen dreistufigen Ansatz, der es LLMs ermöglicht, ihre eigene Ausgabe zu überprüfen und zu korrigieren.

1. Decompose (Zerlegen)

Im ersten Schritt wird die ursprüngliche Anweisung in ihre einzelnen Einschränkungen zerlegt. Dies ermöglicht es dem LLM, jede Einschränkung unabhängig voneinander zu verarbeiten und zu verstehen. Beispielsweise würde die Anweisung "Schreibe einen lustigen Social-Media-Beitrag ohne Hashtags" in die beiden Einschränkungen "der Beitrag soll lustig sein" und "der Beitrag darf keine Hashtags enthalten" zerlegt werden.

2. Critique (Kritisieren)

Im zweiten Schritt wird ein sogenanntes "Critic"-Modell verwendet, um die vom LLM generierte Ausgabe anhand der zuvor zerlegten Einschränkungen zu bewerten. Das Critic-Modell überprüft, ob alle Einschränkungen erfüllt sind und identifiziert potenzielle Fehler oder Inkonsistenzen. Im Beispiel des Social-Media-Beitrags würde das Critic-Modell prüfen, ob der Beitrag tatsächlich lustig ist und ob er Hashtags enthält.

3. Refine (Verbessern)

Im letzten Schritt nutzt der LLM das Feedback des Critic-Modells, um seine ursprüngliche Ausgabe zu verbessern und die identifizierten Fehler zu beheben. Dieser Prozess kann iterativ wiederholt werden, bis alle Einschränkungen erfüllt sind und das Critic-Modell zufrieden ist.

RealInstruct: Ein Benchmark für reale Anweisungen

Um die Effektivität von DeCRIM zu bewerten, erstellten die Autoren einen neuen Benchmark namens RealInstruct. Dieser Benchmark basiert auf realen Benutzeranfragen an KI-Assistenten und enthält eine Vielzahl von Anweisungen mit unterschiedlichen Komplexitätsgraden und Einschränkungen. RealInstruct ermöglicht es Forschern, die Leistung von LLMs in Szenarien zu testen, die reale Anwendungsfälle widerspiegeln.

Bewertung und Ergebnisse

Die Autoren von "LLM Self-Correction with DeCRIM" testeten ihre Methode anhand des RealInstruct-Benchmarks und verglichen die Leistung von DeCRIM mit anderen Ansätzen zur Verbesserung der Anweisungsbefolgung durch LLMs. Die Ergebnisse zeigen, dass DeCRIM die Leistung von LLMs, insbesondere bei komplexen Anweisungen mit mehreren Einschränkungen, deutlich verbessert. Die Autoren stellten außerdem fest, dass selbst hochmoderne LLMs wie GPT-4 Schwierigkeiten haben, alle Einschränkungen in komplexen Anweisungen zu erfüllen. Dies unterstreicht die Notwendigkeit weiterer Forschung in diesem Bereich und die Bedeutung von Methoden wie DeCRIM, die LLMs helfen, ihre eigene Ausgabe zu überprüfen und zu korrigieren.

Fazit

Die Fähigkeit von LLMs, Anweisungen präzise zu befolgen, ist entscheidend für ihren Einsatz in realen Anwendungen. Die vorgestellte Forschungsarbeit "LLM Self-Correction with DeCRIM" zeigt, dass LLMs noch immer Schwierigkeiten haben, komplexe Anweisungen mit mehreren Einschränkungen zu verarbeiten, und stellt mit DeCRIM eine vielversprechende Methode vor, um diese Herausforderungen zu bewältigen. DeCRIM ermöglicht es LLMs, ihre eigene Ausgabe zu überprüfen und zu korrigieren, wodurch die Genauigkeit und Zuverlässigkeit bei der Anweisungsbefolgung verbessert wird. Die Ergebnisse dieser Arbeit leisten einen wichtigen Beitrag zur Weiterentwicklung von LLMs und ebnen den Weg für ihren Einsatz in immer komplexeren und anspruchsvolleren Anwendungen. --- http://arxiv.org/abs/2410.06458 https://2024.emnlp.org/program/accepted_findings/ https://github.com/teacherpeterpan/self-correction-llm-papers https://arxiv.org/abs/2404.02823 https://openreview.net/forum?id=Sx038qxjek https://aclanthology.org/2024.findings-acl.924.pdf https://aclanthology.org/2024.findings-acl.641.pdf https://www.semanticscholar.org/paper/Automatically-Correcting-Large-Language-Models%3A-the-Pan-Saxon/ee19d5c943f1ebcd1a9e52a7bf494a88255b8e04 https://www.mona.uwi.edu/secretariat/sites/default/files/secretariat/MonaDepartmentalReports2019-2020-E-Version.pdf https://openaccess.thecvf.com/content/CVPR2024/papers/Wu_Self-correcting_LLM-controlled_Diffusion_Models_CVPR_2024_paper.pdf