VidEgoThink: Ein neuer Benchmark für das Verständnis von Egocentric Videos durch Künstliche Intelligenz

Fortschritte im Bereich der Künstlichen Intelligenz (KI) haben in den letzten Jahren beeindruckende Ergebnisse erzielt, insbesondere im Bereich der multimodalen Large Language Models (MLLMs). Diese Modelle sind in der Lage, sowohl Text als auch Bilder zu verarbeiten und zu verstehen. Ein vielversprechendes Anwendungsgebiet für MLLMs ist die Embodied AI, bei der KI-Systeme in der Lage sind, in der realen Welt zu agieren und mit ihr zu interagieren. Eine besondere Herausforderung in diesem Bereich ist das Verständnis von Egocentric Videos, also Videos, die aus der Ich-Perspektive einer Person aufgenommen wurden.

Die Herausforderung des Verständnisses von Egocentric Videos

Egocentric Videos unterscheiden sich in vieler Hinsicht von herkömmlichen Videos. Da sie aus der Perspektive des Handelnden aufgenommen werden, ist der Blickwinkel oft unruhig und die Bildkomposition weniger strukturiert. Zudem enthalten Egocentric Videos häufig viele Details und Informationen, die für das Verständnis der Situation relevant sind. Um in der realen Welt erfolgreich agieren zu können, müssen KI-Systeme in der Lage sein, diese komplexen visuellen Informationen zu interpretieren und zu verstehen.

VidEgoThink: Ein neuer Benchmark für Egocentric Video Understanding

Um den aktuellen Stand der Forschung im Bereich des Egocentric Video Understandings zu bewerten und die Entwicklung neuer, leistungsfähigerer KI-Systeme voranzutreiben, wurde VidEgoThink entwickelt. VidEgoThink ist ein neuer Benchmark, der die Fähigkeiten von KI-Modellen im Umgang mit Egocentric Videos umfassend bewertet.

Der Benchmark umfasst vier zentrale Aufgaben, die eng miteinander verbunden sind:

- Video Question-Answering: Beantwortung von Fragen zum Inhalt eines Videos. - Hierarchy Planning: Planung einer Abfolge von Aktionen, um ein bestimmtes Ziel zu erreichen. - Visual Grounding: Zuordnung von Wörtern oder Phrasen zu den entsprechenden Objekten oder Bereichen in einem Bild. - Reward Modeling: Bewertung der Qualität einer ausgeführten Aktion.

Diese Aufgaben wurden so konzipiert, dass sie die Herausforderungen widerspiegeln, denen sich KI-Systeme in realen Szenarien stellen müssen. So erfordert beispielsweise die Planung einer Abfolge von Aktionen ein tiefes Verständnis der Umgebung, der Beziehungen zwischen Objekten und der Auswirkungen von Handlungen.

Erstellung des Datensatzes

Um den Aufwand für die manuelle Annotation der Daten zu minimieren, wurde für die Erstellung des VidEgoThink-Benchmarks eine automatische Pipeline entwickelt. Diese Pipeline nutzt das bereits vorhandene Ego4D-Dataset sowie die multimodalen Fähigkeiten des Large Language Models GPT-4o. GPT-4o wurde darauf trainiert, Fragen zu den Videos zu generieren, Aktionspläne zu erstellen und Belohnungen für ausgeführte Aktionen zu modellieren.

Um die Qualität und Diversität der generierten Daten sicherzustellen, wurden die Ergebnisse von GPT-4o anschließend von drei menschlichen Annotatoren überprüft und gefiltert.

Bewertung aktueller KI-Modelle

Im Rahmen der Entwicklung von VidEgoThink wurden umfangreiche Experimente mit verschiedenen KI-Modellen durchgeführt. Darunter befanden sich sowohl API-basierte MLLMs wie GPT-4o als auch Open-Source-Modelle, die auf Bild- oder Videodaten trainiert wurden. Die Ergebnisse dieser Experimente zeigen, dass selbst die leistungsfähigsten KI-Modelle derzeit noch große Schwierigkeiten haben, die komplexen Aufgaben im Zusammenhang mit dem Verständnis von Egocentric Videos zu bewältigen.

Fazit und Ausblick

VidEgoThink ist ein wichtiger Schritt auf dem Weg zu einer neuen Generation von KI-Systemen, die in der Lage sind, die Welt aus einer Ich-Perspektive zu verstehen und in ihr zu agieren. Der Benchmark bietet Forschern und Entwicklern ein wertvolles Werkzeug, um die Fortschritte in diesem Bereich zu messen und die Grenzen des Möglichen zu erweitern. Die Ergebnisse der ersten Experimente mit VidEgoThink zeigen, dass es noch viel zu tun gibt, um die Leistungsfähigkeit von KI-Systemen im Bereich des Egocentric Video Understandings zu verbessern.

Bibliograhie Cheng, Sijie, et al. "VidEgoThink: Assessing Egocentric Video Understanding Capabilities for Embodied AI." *arXiv preprint arXiv:2410.11623* (2024). Cheng, Sijie, et al. "VidEgoThink: Assessing Egocentric Video Understanding Capabilities for Embodied AI." *OpenReview* (2024). Damen, Dima, et al. "Ego4D: Around the World in 3000 Hours of Egocentric Video." *arXiv preprint arXiv:2110.07056* (2021). Jia, Baoxiong, et al. "EgoTaskQA: Understanding Human Tasks in Egocentric Videos." *Advances in Neural Information Processing Systems* 35 (2022): 14264-14277. Suglia, Alessandro, et al. "AlanaVLM: A Multimodal Embodied AI Foundation Model for Egocentric Video Understanding." *arXiv preprint arXiv:2406.13807* (2024).