In der heutigen Zeit, in der Künstliche Intelligenz (KI) immer mehr an Bedeutung gewinnt, ist die Interaktion zwischen Mensch und Maschine von zentraler Bedeutung. Ein neues Framework namens Agent S revolutioniert diese Interaktion, indem es Computern ermöglicht, Aufgaben auf eine Weise auszuführen, die der menschlichen Herangehensweise ähnelt. Entwickelt von Simular Research, zielt Agent S darauf ab, die Art und Weise, wie wir mit Computern umgehen, grundlegend zu verändern.
Computer wie Menschen benutzen
Agent S ist ein sogenanntes "Agentic Framework", das es Computern ermöglicht, selbstständig Aufgaben über eine grafische Benutzeroberfläche (GUI) auszuführen. Das Ziel ist ambitioniert: Die Interaktion mit Computern so intuitiv und einfach zu gestalten, wie wir es von der Kommunikation mit anderen Menschen gewohnt sind.
Die Herausforderungen der Automatisierung
Die Automatisierung komplexer Aufgaben auf Computern bringt einige Herausforderungen mit sich. Agent S stellt sich diesen Herausforderungen und adressiert sie auf innovative Weise:
- **Domänenspezifisches Wissen:** Agent S nutzt eine Kombination aus Online-Wissensdatenbanken und einem internen "Narrative Memory", um sich schnell und effizient in neue Software und Webseiten einzuarbeiten.
- **Planung über lange Zeiträume:** Durch die Aufteilung komplexer Aufgaben in kleinere Unteraufgaben und die Nutzung eines "Episodic Memory" für die schrittweise Ausführung, kann Agent S auch komplexe Aufgaben bewältigen.
- **Dynamische und uneinheitliche Oberflächen:** Agent S verwendet ein sogenanntes "Agent-Computer Interface" (ACI), um die Möglichkeiten von Multimodal Large Language Models (MLLMs) optimal zu nutzen und so auch mit komplexen und dynamischen Benutzeroberflächen umgehen zu können.
Erfahrungsbasierte hierarchische Planung
Ein Kernstück von Agent S ist die "erfahrungsbasierte hierarchische Planung". Diese Methode ermöglicht es dem System, aus vergangenen Interaktionen zu lernen und dieses Wissen für die Planung und Ausführung zukünftiger Aufgaben zu nutzen. Das System nutzt dabei verschiedene Arten von Speicher:
- **Online-Wissensdatenbanken:** Für aktuelle Informationen, insbesondere bei sich häufig ändernden Programmen und Websites.
- **Narrative Memory:** Für übergeordnete Erfahrungen aus vergangenen Interaktionen.
- **Episodic Memory:** Für die schrittweise Anleitung bei der Ausführung von Aufgaben.
Agent-Computer Interface (ACI)
Das ACI ist eine weitere wichtige Komponente von Agent S. Es dient als Schnittstelle zwischen dem Agenten und dem Computer und ermöglicht es dem System, die Möglichkeiten von MLLMs optimal zu nutzen. Durch das ACI kann Agent S komplexe Aufgaben planen, Entscheidungen treffen und Aktionen ausführen.
Leistung und Effektivität
In Tests mit dem OSWorld Benchmark, einem Standardtest für KI-Agenten, übertraf Agent S die bisherigen Bestwerte deutlich. Mit einer Erfolgsquote von 20,58% bei der Ausführung von Aufgaben übertraf Agent S das beste Vergleichssystem um 9,37% - eine relative Verbesserung von beeindruckenden 83,6%.
Analyse der Ergebnisse
Detaillierte Analysen der Testergebnisse zeigen, dass alle Komponenten von Agent S - die hierarchische Planung, das ACI und die verschiedenen Speichermodule - entscheidend zur Leistungsfähigkeit des Systems beitragen. Insbesondere die Fähigkeit, aus Erfahrungen zu lernen, erweist sich als Schlüsselfaktor für die Bewältigung komplexer Aufgaben.
Generalisierung auf verschiedene Betriebssysteme
Agent S wurde nicht nur auf seine Leistungsfähigkeit in einer Testumgebung, sondern auch auf seine Generalisierbarkeit auf verschiedene Betriebssysteme getestet. Die Ergebnisse des WindowsAgentArena Benchmark zeigen, dass Agent S auch in einer neuen Umgebung, ohne Anpassungen am Code, überzeugen kann.
Fazit: Ein Blick in die Zukunft
Agent S ist ein vielversprechender Ansatz für die nächste Generation von KI-Systemen. Durch die Kombination von hierarchischer Planung, ACI und erfahrungsbasiertem Lernen hat Agent S das Potenzial, die Art und Weise, wie wir mit Computern interagieren, grundlegend zu verändern. Die Entwicklung von Agent S steht noch am Anfang, aber die bisherigen Ergebnisse sind vielversprechend und lassen auf eine Zukunft hoffen, in der die Interaktion mit Computern so intuitiv und einfach sein wird wie die Kommunikation mit anderen Menschen.
Agashe, S., Han, J., Gan, S., Yang, J., Li, A., & Wang, X. E. (2024). Agent S: An Open Agentic Framework that Uses Computers Like a Human. arXiv preprint arXiv:2410.08164.
- https://www.simular.ai/agent-s
- https://www.simular.ai/research
- https://github.com/frdel/agent-zero
- https://arxiv.org/abs/2304.03442
- https://github.com/e2b-dev/awesome-ai-agents
- https://cdn.openai.com/papers/practices-for-governing-agentic-ai-systems.pdf
- https://learn.microsoft.com/en-us/azure/cosmos-db/ai-agents
- https://arxiv.org/html/2407.13032v1
- https://www.sciencedirect.com/science/article/abs/pii/S0747563222001431
- https://www.researchgate.net/publication/227662797_When_a_Talking-Face_Computer_Agent_is_Half-Human_and_Half-Humanoid_Human_Identity_and_Consistency_Preference
