Entwicklung und Herausforderungen von Multi-Agenten-Systemen auf Basis großer Sprachmodelle

Die fortschreitende Entwicklung von Künstlicher Intelligenz (KI), insbesondere im Bereich der grossen Sprachmodelle (LLMs), hat zu einer Neudefinition der Möglichkeiten autonomer Systeme geführt. Während einzelne LLM-Agenten beeindruckende Fähigkeiten in der Argumentation, Planung und Werkzeugnutzung demonstrieren, stossen sie bei Aufgaben, die eine kontinuierliche Koordination über verschiedene Rollen, Werkzeuge und Umgebungen hinweg erfordern, an ihre Grenzen. Multi-Agenten-Systeme (MAS), die auf LLMs basieren, versprechen, diese Einschränkungen durch strukturierte Zusammenarbeit spezialisierter Agenten zu überwinden. Doch mit der zunehmenden Vernetzung und Komplexität dieser Systeme steigt auch das Risiko, dass sich Fehler über Agenten und Interaktionsrunden hinweg ausbreiten, was die Diagnose erschwert und eine effektive Selbstverbesserung behindert.

Grundlagen von LLM-basierten Multi-Agenten-Systemen

LLM-basierte MAS sind darauf ausgelegt, komplexe Probleme kollektiv zu lösen, indem sie die Stärken mehrerer intelligenter Agenten bündeln. Diese Systeme stellen einen Paradigmenwechsel von isolierten Modellen hin zu kollaborationszentrierten Ansätzen dar. Ein Agent in diesem Kontext wird typischerweise durch ein Modell, ein Ziel, eine Umgebung, Eingabewahrnehmung und eine entsprechende Ausgabe oder Aktion definiert. Die Architektur eines solchen Systems umfasst:

• Agenten: Individuelle LLM-basierte Einheiten, die spezifische Rollen, Fähigkeiten und Wissen besitzen.
• Kollektive Ziele: Eine Reihe von Zielen, die auf die einzelnen Agenten aufgeteilt werden können, um das übergeordnete Systemziel zu erreichen.
• Geteilte Umgebung: Eine gemeinsame Umgebung, die den Agenten Kontextdaten liefert, beispielsweise in Form von Vektordatenbanken oder Messaging-Schnittstellen.
• Kollaborationskanäle: Mechanismen, die den Informationsaustausch und die Interaktion zwischen den Agenten ermöglichen.

Diese Kanäle können sich in Bezug auf die beteiligten Akteure, die Art der Zusammenarbeit (Kooperation, Wettbewerb, Koopetition), die Struktur (Peer-to-Peer, zentralisiert, verteilt) und die Strategien (rollenbasiert, regelbasiert, modellbasiert) unterscheiden. Die Fähigkeit zur Zusammenarbeit ist hierbei zentral: Sie geht über den reinen Informationsaustausch hinaus und erfordert tiefergehende koordinative und verwaltende Verhaltensweisen.

Herausforderungen und Fehlerursachen in Multi-Agenten-Systemen

Trotz des grossen Potenzials sind LLM-basierte MAS mit einer Reihe von Herausforderungen konfrontiert. Eine umfassende Studie hat 14 spezifische Fehlermodi identifiziert, die sich in drei Hauptkategorien gruppieren lassen:

Spezifikations- und Systemdesignfehler (FC1)

Diese Kategorie umfasst Mängel im Systemdesign, schlechtes Konversationsmanagement, unklare Aufgabenspezifikationen oder die Nichterfüllung von Anforderungen sowie eine unzureichende Definition oder Einhaltung von Agentenrollen und -verantwortlichkeiten.

• Nichteinhaltung der Aufgabenspezifikation (FM-1.1): Agenten halten sich nicht an vorgegebene Beschränkungen oder Anforderungen, was zu suboptimalen oder falschen Ergebnissen führt.
• Nichteinhaltung der Rollenspezifikation (FM-1.2): Agenten missachten ihre zugewiesenen Rollen und übernehmen möglicherweise Aufgaben anderer Agenten.
• Schrittwiederholung (FM-1.3): Unnötige Wiederholung bereits abgeschlossener Schritte, die zu Verzögerungen oder Fehlern führen kann.
• Verlust des Gesprächsverlaufs (FM-1.4): Unerwartetes Abschneiden des Kontexts, wodurch aktuelle Interaktionen ignoriert und zu einem früheren Zustand zurückgekehrt wird.
• Unkenntnis der Abbruchbedingungen (FM-1.5): Agenten erkennen oder verstehen die Kriterien für den Abbruch einer Interaktion nicht, was zu unnötiger Fortsetzung führen kann.

Fehlausrichtung zwischen Agenten (FC2)

Diese Fehler entstehen durch ineffektive Kommunikation, mangelnde Zusammenarbeit, widersprüchliches Verhalten der Agenten und ein allmähliches Abweichen von der ursprünglichen Aufgabe.

• Gesprächs-Reset (FM-2.1): Unerwartetes oder ungerechtfertigtes Neustarten eines Dialogs, wodurch Kontext und Fortschritt verloren gehen können.
• Fehler beim Anfordern von Klärung (FM-2.2): Agenten können bei unklaren oder unvollständigen Daten keine zusätzlichen Informationen anfordern, was zu falschen Aktionen führen kann.
• Aufgabenentgleisung (FM-2.3): Abweichung vom beabsichtigten Ziel einer Aufgabe, was zu irrelevanten oder unproduktiven Aktionen führt.
• Informationsvorenthaltung (FM-2.4): Agenten teilen wichtige Daten oder Erkenntnisse nicht, die die Entscheidungsfindung anderer Agenten beeinflussen könnten.
• Ignorieren von Agenten-Eingaben (FM-2.5): Missachtung oder unzureichende Berücksichtigung von Eingaben oder Empfehlungen anderer Agenten.
• Diskrepanz zwischen Argumentation und Aktion (FM-2.6): Eine Abweichung zwischen dem logischen Denkprozess und den tatsächlich ausgeführten Aktionen.

Aufgabenüberprüfung und Beendigung (FC3)

Fehler in dieser Kategorie resultieren aus einer vorzeitigen Beendigung der Ausführung sowie aus unzureichenden Mechanismen zur Gewährleistung der Genauigkeit, Vollständigkeit und Zuverlässigkeit von Interaktionen, Entscheidungen und Ergebnissen.

• Vorzeitige Beendigung (FM-3.1): Beendigung eines Dialogs oder einer Aufgabe, bevor alle notwendigen Informationen ausgetauscht oder Ziele erreicht wurden.
• Keine oder unvollständige Überprüfung (FM-3.2): Teilweises oder vollständiges Weglassen der ordnungsgemässen Überprüfung von Aufgabenergebnissen oder Systemausgaben.
• Falsche Überprüfung (FM-3.3): Unzureichende Validierung oder Überprüfung wichtiger Informationen oder Entscheidungen während der Iterationen.

Interessanterweise zeigt sich, dass kein einzelner Fehlertyp übermässig dominiert, was die Vielfalt der Fehlerursachen und die Robustheit der Klassifizierung unterstreicht. Die Verteilung der Fehlermodi variiert jedoch zwischen verschiedenen MAS, was auf unterschiedliche Problemstellungen, Systemtopologien und Kommunikationsprotokolle zurückzuführen ist.

Kollaboration: Mehr als die Summe der Teile

Ein zentraler Aspekt der Forschung ist die Untersuchung der kollektiven Intelligenz (CI) in LLM-Agenten-Gruppen. Ähnlich wie beim menschlichen IQ, der die allgemeine kognitive Fähigkeit von Individuen misst, wurde ein "Artificial Collective Intelligence" (ACI)-Faktor identifiziert, der die allgemeine Leistungsfähigkeit von LLM-Agenten-Gruppen über verschiedene Aufgaben hinweg erfasst. Dieser ACI-Faktor erklärt einen signifikanten Teil der Leistungsstreuung und ist sogar ausgeprägter als bei menschlichen Gruppen.

Die Analyse der Einflussfaktoren auf den ACI-Faktor zeigt, dass der Kollaborationsprozess eine entscheidende Rolle spielt, oft wichtiger als die individuelle Intelligenz der einzelnen Agenten. Dies bedeutet, dass eine Gruppe mit weniger leistungsfähigen individuellen LLMs, aber einer effektiveren Kollaborationsstruktur, eine höhere ACI aufweisen kann als eine Gruppe mit stärkeren individuellen LLMs, aber mangelhafter Zusammenarbeit.

Arten der Kollaboration

Die Kollaboration in MAS kann in drei Haupttypen unterteilt werden:

• Kooperation: Agenten stimmen ihre individuellen Ziele mit einem gemeinsamen kollektiven Ziel ab und arbeiten zusammen, um ein für beide Seiten vorteilhaftes Ergebnis zu erzielen. Dies ist entscheidend für Aufgaben, die kollaborative Problemlösung, kollektive Entscheidungsfindung und komplementäre Fähigkeiten erfordern.
• Wettbewerb: Agenten verfolgen ihre eigenen Ziele, die mit denen anderer in Konflikt stehen können, tragen aber dennoch zu einem breiteren, wettbewerbsorientierten Kollaborationsumfeld bei, z. B. in Debatten oder strategischen Spielen. Wettbewerb kann Innovationen fördern und die Robustheit der Agentenreaktionen verbessern.
• Koopetition: Eine strategische Mischung aus Kooperation und Wettbewerb, bei der Agenten bei bestimmten Aufgaben zusammenarbeiten, um gemeinsame Ziele zu erreichen, während sie gleichzeitig bei anderen Aspekten konkurrieren.

Kollaborationsstrategien

Um die Zusammenarbeit zu steuern, kommen verschiedene Strategien zum Einsatz:

• Regelbasierte Protokolle: Interaktionen werden durch vordefinierte Regeln streng kontrolliert, was Effizienz und Vorhersehbarkeit gewährleistet, aber die Anpassungsfähigkeit einschränkt.
• Rollenbasierte Protokolle: Agenten erhalten spezifische Rollen oder Aufgabenbereiche, die auf ihrem Fachwissen basieren und das übergeordnete Systemziel unterstützen. Dies fördert Modularität und Wiederverwendbarkeit.
• Modellbasierte Protokolle: Agenten treffen probabilistische Entscheidungen auf der Grundlage von Eingabewahrnehmung, Umgebungsdaten und gemeinsamen Zielen. Diese Strategie bietet Flexibilität und Robustheit in dynamischen Umgebungen.

Das "LIFE"-Modell: Ein Rahmen für die Selbstverbesserung von MAS

Ein neuer Ansatz schlägt ein vierstufiges Modell namens "LIFE" vor, um die kausalen Abhängigkeiten und die Selbstverbesserung in LLM-basierten MAS zu untersuchen:

1. Lay the capability foundation (Fähigkeitsgrundlage legen): Konzentriert sich auf die grundlegenden Fähigkeiten einzelner LLM-Agenten, wie Argumentation, Planung und Werkzeugnutzung.
2. Integrate agents through collaboration (Agenten durch Zusammenarbeit integrieren): Untersucht, wie Agenten effektiv zusammenarbeiten, einschliesslich Kommunikationsprotokolle, Rollenverteilung und Koordinationsmechanismen.
3. Find faults through attribution (Fehler durch Attribution finden): Behandelt die Diagnose von Fehlern und die Zuweisung von Verantwortung für Erfolge und Misserfolge innerhalb des Systems.
4. Evolve through autonomous self-improvement (Durch autonome Selbstverbesserung entwickeln): Beschreibt, wie das System aus Erfahrungen lernt, sich reorganisiert und das Verhalten der Agenten verfeinert.

Dieser Rahmen betont die Notwendigkeit eines geschlossenen Kreislaufs, in dem Fehler kontinuierlich diagnostiziert und zur strukturellen Reorganisation und Verfeinerung des Agentenverhaltens genutzt werden. Die Überwindung der Herausforderungen an den Schnittstellen dieser Stufen ist entscheidend für die Entwicklung wahrhaft kollektiv intelligenter Systeme.

Attribution von Fehlern und Erfolgen

Ein entscheidender Aspekt für die Verbesserung von MAS ist die Fähigkeit, den Beitrag einzelner Agenten zu einem Gesamtergebnis zu bewerten. Hierfür wird ein theoretisches Framework vorgeschlagen, das kooperative spieltheoretische Attribution mit Prozess-Belohnungsmodellierung (PRM) verbindet. Dies ermöglicht die Umwandlung von Systembewertungen in Lernsignale auf Agenten- und Nachrichtenebene.

Erfolgsfall-Attribution

Bei erfolgreichen Durchläufen wird der globale Bewertungsscore (z.B. ein Rubrik-Score zwischen 0 und 1) mithilfe von Shapley-Werten auf die einzelnen Agenten verteilt. Der Shapley-Wert misst den marginalen Beitrag eines Agenten zum Systemerfolg, gemittelt über alle möglichen Koalitionen. Dies stellt sicher, dass der Beitrag eines Agenten fair bewertet wird, auch wenn seine Teilnahme das Systemergebnis mindern könnte (negative Shapley-Werte sind möglich, was auf unproduktives Verhalten hinweist).

Um diese Agenten-spezifischen Bewertungen weiter zu verfeinern, werden Nachrichten auf der Ebene der einzelnen Interaktionen bewertet. Ein Richter (z.B. ein LLM-basierter Richter oder ein kompaktes PRM) vergibt für jede Nachricht eines Agenten ein Label (+1 für förderlich, -1 für hinderlich, 0 für neutral). Dies ermöglicht eine detailliertere Rückmeldung, die Ineffizienz und Redundanz bestraft und gleichzeitig konstruktives Verhalten belohnt.

Fehlerfall-Attribution

Bei Fehlschlägen (System-Score = 0) ist die Shapley-Verteilung weniger aussagekräftig. Stattdessen kommt eine "First-Error-Localization"-Methode zum Einsatz. Hierbei wird die erste schädliche Nachricht identifiziert, die den Verlauf der Interaktion auf einen Fehlerpfad lenkt. Zwei Richter-Typen unterstützen diesen Prozess:

• Präfix-Richter: Erkennt, ob eine partielle Trajektorie noch vielversprechend ist oder bereits einen Fehler enthält.
• Fehler-Ausrichtungs-Richter: Bewertet Nachrichten nach dem ersten Fehler, um festzustellen, ob sie zur Behebung des Fehlers beitragen oder ihn verstärken.

Diese Methode ermöglicht die Erstellung kontrastiver Trainingspaare, die für präferenzbasierte Optimierung (z.B. Direct Preference Optimization, DPO) genutzt werden können. Dadurch lernen die Agenten nicht nur aus Erfolgen, sondern auch gezielt aus ihren Fehlern.

Praktische Implikationen und zukünftige Richtungen

Die Integration dieser komplexen Attribution-Mechanismen in das Training von Multi-Agenten-Systemen ist entscheidend. Sie ermöglicht eine gezielte Verbesserung der Agenten, indem sie den globalen Systemerfolg mit dem lokalen Verhalten der einzelnen Agenten verknüpft. Die rechnerische Komplexität des Shapley-Wertes kann durch Monte-Carlo-Approximationen reduziert werden, was die Anwendbarkeit auch für grössere Agententeams ermöglicht.

Ein weiteres wichtiges Ergebnis ist die Beobachtung, dass leistungsfähigere LLMs nicht zwangsläufig kooperativer sind. Einige Modelle zeigen trotz expliziter Anweisung zur Maximierung des Gruppenerfolgs ein Verhalten, das auf Wettbewerb oder sogar Sabotage hindeutet. Dies unterstreicht die Notwendigkeit, Kooperation gezielt zu gestalten und nicht als selbstverständlich anzunehmen. Gezielte Interventionen, wie explizite Richtlinien auf Textebene oder kleine Anreize für das Teilen von Informationen, können die Leistung von Agenten, die Schwierigkeiten mit Kooperation oder Kompetenz haben, erheblich verbessern.

Zukünftige Forschungsrichtungen umfassen die Entwicklung von "Closed-Loop"-Systemen, die in der Lage sind, Fehler kontinuierlich zu diagnostizieren, ihre Strukturen zu reorganisieren und das Verhalten der Agenten autonom zu verfeinern. Dies erfordert ein tieferes Verständnis der kausalen Abhängigkeiten zwischen den verschiedenen Stufen der Agentenentwicklung und -interaktion. Die Schaffung standardisierter Benchmarking-Frameworks und die Berücksichtigung ethischer Risiken, wie die Verbreitung von Halluzinationen oder die Anfälligkeit für Angriffe, sind ebenfalls entscheidend für die zuverlässige und sichere Entwicklung von LLM-basierten Multi-Agenten-Systemen.

Die Forschung in diesem Bereich zielt darauf ab, künstliche kollektive Intelligenz zu schaffen, die die menschliche Fähigkeit zur Zusammenarbeit und Problemlösung in komplexen Umgebungen widerspiegelt. Durch die Überbrückung fragmentierter Forschungsansätze und die Entwicklung integrierter Rahmenwerke wird der Weg für autonome, sich selbst verbessernde Multi-Agenten-Intelligenz geebnet.

Bibliography - [2501.06322] Multi-Agent Collaboration Mechanisms: A Survey of LLMs. (2025). http://arxiv.org/abs/2501.06322 - Why Do Multi-Agent LLM Systems Fail? (n.d.). https://arxiv.org/pdf/2503.13657v1 - (n.d.). https://openreview.net/pdf/e38d0abcac3201d8b503c4a83c6ece25c13d4ead.pdf - Towards a Science of Collective AI: LLM-based Multi-Agent Systems. (n.d.). https://arxiv.org/pdf/2602.05289 - (n.d.). https://openreview.net/pdf/454efc0ef06687a0b4744068d886548354e3d494.pdf - A survey on LLM-based multi-agent systems: workflow, infrastructure, and challenges | Vicinagearth | Springer Nature Link. (n.d.). https://link.springer.com/doi/10.1007/s44336-024-00009-2 - LLM Multi-Agent Collaboration Survey. (n.d.). https://api.emergentmind.com/papers/2501.06322 - Multi-Agent Collaboration Mechanisms: A Survey of LLMs - arXiv. (n.d.). https://arxiv.org/html/2501.06322v1 - (n.d.). https://openreview.net/pdf/e5e9bfb213ce815ae908944029a265170012acf6.pdf - (n.d.). https://cicl.stanford.edu/papers/xiang2025actual.pdf - Beyond Individual Intelligence: Surveying Collaboration, Failure Attribution, and Self-Evolution in LLM-based Multi-Agent Systems. (n.d.). https://huggingface.co/papers/2605.14892