Fortschritte in der Entwicklung von GUI-Agenten durch automatisierte Datenextraktion aus Videoinhalten

Revolution in der GUI-Agenten-Entwicklung: Wie Internet-Videos zu Trainingsdaten werden

Die Forschung und Entwicklung im Bereich der Künstlichen Intelligenz (KI) hat in den letzten Jahren enorme Fortschritte gemacht, insbesondere bei multimodalen großen Sprachmodellen (MLLMs). Ein vielversprechendes Anwendungsfeld dieser Technologien sind sogenannte Graphical User Interface (GUI)-Agenten. Diese intelligenten Systeme sind in der Lage, menschliche Interaktionen mit Software-Anwendungen zu simulieren, um diverse Aufgaben zu automatisieren. Sie können beispielsweise Schaltflächen anklicken, Formulare ausfüllen oder durch Benutzeroberflächen navigieren, was Potenziale in Bereichen wie Software-Tests, Finanzdienstleistungen, Büroautomation und industrieller Steuerung eröffnet. Trotz des großen Interesses und der vielversprechenden Ansätze stehen GUI-Agenten vor einer wesentlichen Herausforderung: dem Mangel an umfangreichen, diversen Trainingsdaten, die für eine breite Generalisierbarkeit über verschiedene reale Anwendungen hinweg unerlässlich sind.

Die Datenlücke bei GUI-Agenten

Bestehende Datensätze für GUI-Agenten basieren typischerweise auf kostspieligen manuellen Annotationen und sind oft auf eng definierte Domänen beschränkt. Dies führt zu einem Engpass, der die Fähigkeit der Agenten, in neuen oder komplexen Umgebungen zu agieren, stark limitiert. Die manuelle Erstellung von Interaktionstrajektorien, die präzise GUI-Interaktionen wie Klickkoordinaten und Texteingaben dokumentieren, ist äußerst aufwendig und skaliert nicht effizient genug, um den Bedarf an umfangreichen und vielfältigen Daten zu decken, die für robuste und generalisierbare GUI-Agenten erforderlich sind.

Video2GUI: Eine innovative Lösung durch automatisierte Datenextraktion

Um diese Herausforderung zu adressieren, wurde kürzlich das Framework "Video2GUI" vorgestellt. Dieses System bietet einen vollautomatisierten Ansatz zur Extraktion von fundierten GUI-Interaktionstrajektorien direkt aus unbeschrifteten Internetvideos. Die Kernidee hinter Video2GUI ist, die riesige Menge an bereits existierenden Bildschirmaufzeichnungen und Tutorial-Videos im Internet zu nutzen. Diese Videos enthalten implizit die notwendigen Informationen über menschliche Computerinteraktionen, die bisher unerschlossen blieben, da ihnen die strukturierten Aktionsbezeichnungen für das Training fehlen.

Der Prozess von Video2GUI

Das Video2GUI-Framework verfolgt eine mehrstufige Filterstrategie, um qualitativ hochwertige GUI-Tutorial-Videos zu identifizieren und sie in strukturierte Agententrajektorien umzuwandeln:

• Grobanalyse und Filterung: Zunächst werden aus einer riesigen Menge von Videometadaten (beispielsweise 500 Millionen Einträge) hochwertige Tutorials mithilfe fortschrittlicher Klassifikatoren und visueller Bewertungsmodelle herausgefiltert.
• Extraktion von Schritt-für-Schritt-Anweisungen: Im nächsten Schritt werden die unstrukturierten Videosegmente mithilfe von MLLMs (wie Gemini 3 Pro) in strukturierte, aufgabenorientierte Anweisungs-Trajektorien-Paare umgewandelt.
• Räumliche Verankerung von Aktionen: Abschließend wird eine räumliche Verankerung der Aktionen (Action Spatial Grounding) durchgeführt, um die genauen Bildschirmkoordinaten zu identifizieren, an denen eine Aktion stattfindet. Dies ermöglicht es dem Agenten, präzise zu lernen, wo geklickt werden muss.

WildGUI: Ein neuer Maßstab für GUI-Trainingsdaten

Durch die Anwendung dieser Pipeline auf Millionen von Videometadaten wurde der Datensatz "WildGUI" erstellt. Dieser Datensatz ist mit 12 Millionen Interaktionstrajektorien, die über 1.500 Anwendungen und Webseiten hinweggehen, und 124,5 Millionen Screenshots der größte quelloffene Datensatz für das Vortraining von GUI-Agenten. Er umfasst Interaktionen auf Web-, Mobil- und Desktop-Plattformen und bietet eine bisher unerreichte Diversität.

Signifikante Leistungsverbesserungen durch WildGUI

Das Vortraining von Modellen wie Qwen2.5-VL und Mimo-VL auf WildGUI führte zu konsistenten Leistungssteigerungen von 5-20% über verschiedene GUI-Grounding- und Aktions-Benchmarks. Diese Ergebnisse erreichen oder übertreffen den aktuellen Stand der Technik. Beispielsweise konnte auf dem ScreenSpot-Pro-Benchmark eine relative Verbesserung der Genauigkeit von fast 38% erzielt werden (von 41,2% auf 56,9%). Solche Verbesserungen zeigen, dass die Nutzung unbeschrifteter Webvideos eine äußerst effektive Methode ist, um digitale Assistenten zu trainieren und ein wesentliches Hindernis für die Entwicklung autonomer Agenten zu überwinden.

Vergleich mit ähnlichen Ansätzen

Ähnliche Forschungsansätze, wie das "TongUI"-Framework und "VideoAgentTrek", zeigen ebenfalls das Potenzial der Nutzung von Web-Tutorials zur Generierung von GUI-Trajektorien. TongUI, beispielsweise, wandelt Millionen multimodaler Web-Tutorials in GUI-Trajektorien um und hat einen Datensatz von 1 Million Trajektorien über fünf Betriebssysteme und mehr als 280 Anwendungen erstellt. Auch hier werden Leistungsverbesserungen bei der Verankerung und Navigation von GUI-Agenten festgestellt. VideoAgentTrek wiederum nutzt 39.000 YouTube-Tutorials, um 1,52 Millionen Interaktionsschritte zu extrahieren, und erzielt ebenfalls signifikante Verbesserungen der Aufgabenerfolgsraten auf Benchmarks wie OSWorld-Verified und AgentNetBench.

Zukünftige Perspektiven und Open-Source-Beitrag

Die Veröffentlichung des WildGUI-Datensatzes und der Video2GUI-Pipeline soll die zukünftige Forschung an GUI-Agenten unterstützen. Diese Entwicklung ebnet den Weg für die Schaffung robusterer und generalisierbarer KI-Agenten, die in der Lage sind, komplexe digitale Aufgaben in realen Anwendungen zu bewältigen. Die Transformation von rohen Bildschirmaufnahmen in strukturierte Trainingsdaten bietet eine skalierbare und kostengünstige Alternative zu teuren manuellen Annotationen und stellt einen wichtigen Schritt zur Realisierung autonomer digitaler Assistenten dar.

Die hier vorgestellten Fortschritte betonen die Bedeutung innovativer Datenbeschaffungsmethoden für die Weiterentwicklung der KI. Durch die Nutzung und intelligente Verarbeitung vorhandener öffentlicher Ressourcen können entscheidende Engpässe überwunden und die Entwicklung leistungsfähigerer KI-Systeme beschleunigt werden.

Bibliography

- Weimin Xiong et al.: Video2GUI: Synthesizing Large-Scale Interaction Trajectories for Generalized GUI Agent Pretraining. arXiv:2605.14747, 2026. - Bofei Zhang et al.: TongUI: Internet-Scale Trajectories from Multimodal Web Tutorials for Generalized GUI Agents. arXiv:2504.12679, 2025. - Dunjie Lu et al.: VideoAgentTrek: Computer Use Pretraining from Unlabeled Videos. arXiv:2510.19488, 2025. - AI Research Roundup: Video2GUI: Training GUI Agents with Web Videos. YouTube, 2026. - Asteris AI: GUI Agents Need Better Practice Data for Real World Tasks. LinkedIn, 2026.