KI meistert die Kunst der visuellen und sprachlichen Beschreibung

In der Welt der Technologie schreitet die Entwicklung künstlicher Intelligenz (KI) unaufhörlich voran. Eines der spannendsten Gebiete ist die Verbindung von visuellen und sprachlichen Modellen, die die Fähigkeit besitzen, Inhalte von Videos und Bildern nicht nur zu erkennen, sondern auch in natürlicher Sprache zu beschreiben. Diese Entwicklung hat das Potenzial, die Art und Weise, wie wir mit Computern interagieren und wie Maschinen die Welt um sie herum verstehen, grundlegend zu verändern.

Google hat kürzlich eine neue Durchbruchsmethode vorgestellt, die als Video Instruction Tuning bekannt ist. Das Unternehmen hat ein Modell entwickelt, das auf Millionen von Videos trainiert wurde und eine verbesserte Leistung bei der Erstellung von automatisch generierten Untertiteln zeigt. Durch den Einsatz des Video-Language Dual-Encoder Modells, das kontrastiv auf diesen Untertiteln trainiert wurde, konnte eine Verbesserung von 3,8% gegenüber den stärksten Basismodellen erzielt werden, die ebenfalls Vision-Language Modelle verwenden. Diese Ergebnisse sind nicht nur beeindruckend, sondern könnten auch ein neues Kapitel in der Geschichte der KI und der maschinellen Verarbeitung visueller und sprachlicher Daten einleiten.

Die Bedeutung dieses Fortschritts wird insbesondere im Kontext der Zero-Shot-Text-zu-Video-Retrieval-Aufgabe auf dem MSR-VTT-Datensatz deutlich, bei der das Modell von Google die bisherigen Spitzenmethoden um 6% übertraf. Dies zeigt, dass das Modell dazu in der Lage ist, ohne spezifisches Training für bestimmte Aufgaben oder Datensätze, relevante Videos auf der Grundlage von Textbeschreibungen zu identifizieren und zu verstehen.

Die Technologie hinter diesem Fortschritt basiert auf einer Kombination aus großen, vortrainierten Sprachmodellen und speziellen Techniken, die es erlauben, die Modelle auf multimodale Aufgaben anzupassen, bei denen sowohl visuelle als auch sprachliche Informationen verarbeitet werden müssen. Insbesondere die Verwendung von kontrastivem Training ermöglicht es dem Modell, Beziehungen zwischen visuellen Inhalten und Sprache zu lernen und zu verstehen, wie sie zusammenhängen.

Die Forschung hat gezeigt, dass die Leistungsfähigkeit von Vision-Language-Modellen, wie CLIP, bei kompositionellen Eingaben begrenzt ist. Dazu gehören die Darstellung von Objektbeziehungen, die Zuordnung von Attributen zu Objekten, das Zählen und die Verwendung von Verneinungen. Um diese Herausforderung zu meistern, wurden Text-Only-Recovery-Sonden entwickelt, die darauf abzielen, Untertitel aus den von mehreren Vision-Language-Modellen produzierten Einzelvektor-Textdarstellungen zu rekonstruieren. Diese Methode erfordert keine Bilder, was es ermöglicht, eine breitere Palette von Szenarien zu testen, als es bisherige Arbeiten erlaubten.

Die Forscher von Google haben auch einen neuen Benchmark namens ControlledImCaps entwickelt und veröffentlicht, der aus feingliedrigen kompositionellen Bildern und Untertiteln besteht. Die Ergebnisse legen nahe, dass die Wiederherstellbarkeit von Text allein eine notwendige (aber nicht ausreichende) Bedingung für die Modellierung von kompositionellen Faktoren in kontrastiven Vision-Language-Modellen ist.

Darüber hinaus hat Google mit Vid2Seq ein weiteres spannendes Modell vorgestellt, das für die dichte Videobeschreibung entwickelt wurde. Dieses Modell kann dicht gepackte Ereignisbeschreibungen zusammen mit ihrer zeitlichen Verortung in einem Video vorhersagen, indem es eine einzige Sequenz von Token generiert.

Das Vid2Seq-Modell umfasst einen visuellen Encoder und einen Text-Encoder, die jeweils die Videobilder und den transkribierten Spracheingang codieren. Die resultierenden Codierungen werden dann an einen Text-Decoder weitergeleitet, der autoregressiv die Ausgabesequenz von dichten Ereignisbeschreibungen zusammen mit ihrer zeitlichen Lokalisierung im Video vorhersagt. Das Modell wurde mit einem leistungsfähigen visuellen Rückgrat und einem starken Sprachmodell initialisiert.

Die große Herausforderung bei der dichten Videobeschreibung besteht darin, Ereignisse in minutenlangen Videos zu lokalisieren und zu beschreiben. Die Architektur von Vid2Seq wurde so konstruiert, dass sie diese Aufgabe bewältigen kann. Durch die Verwendung spezieller Zeit-Token (ähnlich wie Text-Token), die diskretisierte Zeitstempel im Video darstellen, kann das Modell sowohl Text- als auch Zeit-Token als Eingabe nehmen und erzeugen. Dies ermöglicht es Vid2Seq, dichte Ereignisunterschriften und deren zeitliche Verankerung im Video gemeinsam vorherzusagen, während eine einzige Sequenz von Token generiert wird.

Das Vid2Seq-Modell wurde auf einer großen Anzahl von unbeschrifteten, erzählten Videos vortrainiert, die leicht in großem Umfang verfügbar sind. Insbesondere wurde das YT-Temporal-1B-Datenset verwendet, welches 18 Millionen erzählte Videos umfasst, die eine breite Palette von Bereichen abdecken. Für das Vortraining wurden transkribierte Sprachsätze und deren entsprechende Zeitstempel als Überwachung verwendet, die als einzelne Tokenfolge dargestellt wurden.

Nach dem Feinabstimmung verbesserte Vid2Seq den Stand der Technik auf drei standardisierten dichten Videobeschreibungs-Benchmarks (ActivityNet Captions, YouCook2 und ViTT) und zwei Video-Clip-Beschreibungs-Benchmarks (MSR-VTT, MSVD). Zusätzlich zu diesen beeindruckenden Ergebnissen bietet das Papier weitere Ablationsstudien, qualitative Ergebnisse sowie Ergebnisse in den Einstellungen mit wenigen Schüssen und in der Aufgabe der Videoabsatzbeschreibung.

Diese Fortschritte in der KI-Forschung und -Entwicklung sind nicht nur für die technologische Community von Bedeutung, sondern haben das Potenzial, viele Aspekte unseres täglichen Lebens zu beeinflussen. Von der Verbesserung der Zugänglichkeit für Menschen mit Seh- oder Hörbehinderungen bis hin zur Verbesserung der Videosuche in großen Datenbanken – die Anwendungen sind vielfältig und weitreichend.

In einer Welt, in der Videos eine immer wichtigere Rolle spielen, sei es in der Unterhaltung, Bildung oder Kommunikation, ist die Fähigkeit, den Inhalt dieser Videos zu verstehen und zu beschreiben, von unschätzbarem Wert. Mit Technologien wie Vid2Seq und dem Video-Language Dual-Encoder-Modell steht Google an der Spitze dieser Entwicklung und öffnet die Tür zu einer Zukunft, in der KI nicht nur sieht, sondern auch versteht und kommuniziert.