LongVideoBench: Neuer Benchmark für das Verstehen langer Videoinhalte
LongVideoBench: Ein Maßstab für das Verständnis langer Videos
Einführung
Mit der rasanten Weiterentwicklung von multimodalen großen Modellen (Large Multimodal Models, LMMs) ist die Fähigkeit zur Verarbeitung längerer und reichhaltigerer Eingaben erheblich gestiegen. Bisher fehlte es jedoch an öffentlichen Benchmarks, die diese Entwicklung messen können. Um diese Lücke zu schließen, wurde LongVideoBench eingeführt, ein Benchmark zur Fragebeantwortung, der video-sprachlich ineinander greifende Eingaben von bis zu einer Stunde Länge umfasst. Dieser Artikel beleuchtet die Herausforderungen und die Bedeutung von LongVideoBench als Maßstab für das Verständnis langer Videos.
Hintergrund
Die Verarbeitung von langen Kontexten ist für viele aktuelle Modelle eine Herausforderung. Während Text-LLMs (Large Language Models) wie GPT-4o in der Lage sind, bis zu 128.000 Tokens zu verarbeiten, fehlt es an Benchmarks, die die multimodale Verarbeitung langer Videos bewerten. LongVideoBench zielt darauf ab, diese Lücke zu schließen, indem es die Fähigkeit von LMMs untersucht, detaillierte multimodale Informationen aus langen Eingaben zu extrahieren und darüber zu schlussfolgern.
Der Benchmark
LongVideoBench umfasst 3.763 Videos unterschiedlicher Länge mit ihren Untertiteln, die aus dem Web gesammelt wurden. Diese Videos decken eine Vielzahl von Themen ab, darunter Filme, Nachrichten, Lebensführung und Wissen. Der Benchmark besteht aus 6.678 menschlich annotierten Multiple-Choice-Fragen in 17 feinkörnigen Kategorien.
Aufgabenstellung
Die Kernaufgabe von LongVideoBench ist das "Referring Reasoning". Dabei handelt es sich um eine Frage-Antwort-Aufgabe, bei der die Frage einen Verweis auf einen bestimmten Videokontext enthält, der als "referred context" bezeichnet wird. Das Modell muss in der Lage sein, relevante Videodetails aus diesem Kontext abzurufen und darüber zu schlussfolgern.
Herausforderungen
LongVideoBench stellt selbst für die fortschrittlichsten proprietären Modelle wie GPT-4o erhebliche Herausforderungen dar. Die Fähigkeit, mehr Frames zu verarbeiten, ist entscheidend für die Verbesserung der Leistung auf diesem Benchmark. Open-Source-Modelle zeigen hierbei eine noch größere Leistungslücke.
Methodik
Um die Fähigkeiten zur Verarbeitung langer multimodaler Kontexte zu bewerten, wurden zwei wesentliche Fähigkeiten identifiziert:
- Die Wahrnehmung spezifischer multimodaler Details als Reaktion auf Benutzeranfragen. - Die Fähigkeit, diese Details kohärent und kontextuell zu verknüpfen und darüber zu schlussfolgern.Entwicklung von LongVideoBench
Der Benchmark wurde entwickelt, um die oben genannten Fähigkeiten zu testen. Dies geschieht durch die Einführung einer verweisenden Abfrage, die auf bestimmte Videokontexte verweist. Das Modell wird dann mit einer Frage konfrontiert, die sich auf diesen Kontext bezieht, und muss seine multimodalen Verständnisfähigkeiten unter Beweis stellen.
Kategorien und Fragen
Die Fragen in LongVideoBench sind in zwei Hauptkategorien unterteilt: Wahrnehmungsfragen und Relationsfragen. Wahrnehmungsfragen erfordern, dass das Modell visuelle Details in einer einzelnen Videosequenz erkennt, wie z.B. Objekte, Attribute und Ereignisse. Relationsfragen erfordern, dass das Modell mehrere Szenen miteinander verknüpft und Fragen zu deren zeitlicher Reihenfolge, Attributänderungen oder zur Verfolgung von Objekten beantwortet.
Bewertung und Ergebnisse
Die Bewertungsergebnisse zeigen, dass LongVideoBench erhebliche Herausforderungen für bestehende Modelle darstellt. Proprietäre Modelle wie GPT-4o zeigen bessere Leistungen, wenn sie in der Lage sind, mehr Frames zu verarbeiten, während Open-Source-Modelle hier nicht richtig skalieren können.
Fazit
LongVideoBench bietet wertvolle Einblicke in die Fähigkeiten und Defizite bestehender Modelle und stellt damit eine wichtige Ressource für die zukünftige Forschung zur multimodalen Langkontextverarbeitung dar. Es ist ein umfassender Benchmark, der die Entwicklung und Bewertung zukünftiger Generationen von LMMs unterstützt.
