Neuartige Ansätze in der Computer Vision durch Videogeneratoren

Computer Vision neu gedacht: Wie Videogeneratoren die Landschaft verändern könnten

Die Entwicklung im Bereich der Künstlichen Intelligenz schreitet rasant voran, insbesondere in der Computer Vision. Eine aktuelle Veröffentlichung von Google DeepMind rückt dabei eine faszinierende These in den Mittelpunkt: Videogeneratoren könnten bereits die "Weltmodelle" enthalten, die der Computer Vision bisher fehlten. Dies hätte weitreichende Implikationen für die Entwicklung allgemeiner KI-Systeme.

Von spezialisierten Modellen zu universellen Lernern

Bislang war die Computer Vision stark von spezialisierten Modellen geprägt. Für jede Aufgabe – sei es die Segmentierung von Objekten mittels "Segment Anything" oder die Tiefenschätzung mit "Depth Anything" – wurde ein eigenes Modell mit spezifischer Architektur entwickelt. Diese fragmentierte Landschaft steht im Gegensatz zu den Fortschritten in der Verarbeitung natürlicher Sprache (NLP), wo große Sprachmodelle (LLMs) durch die Aufgabe der Vorhersage des nächsten Tokens zu vielseitigen, allgemeinen Systemen wurden. Diese LLMs erwerben während des Trainings Grammatik, Weltwissen und kontextuelle Beziehungen, was zu ihren emergenten Fähigkeiten führt.

Die Forscher von Google DeepMind argumentieren nun, dass große Text-zu-Video-Modelle eine ähnliche Brücke für die Computer Vision schlagen könnten. Die Generierung realistischer Videos erfordert ein tiefes Verständnis der räumlichen Geometrie einer Szene, der Bewegung von Objekten und grundlegender physikalischer Prinzipien. Zudem verknüpfen diese Modelle Textbeschreibungen mit visuellen Inhalten und können auf riesigen Datensätzen trainiert werden, da die Beschriftung relativ kostengünstig ist.

GenCeption: Ein Videogenerator als vielseitiges Vision-Modell

Das von Google DeepMind entwickelte Modell, genannt GenCeption, basiert auf dem Open-Source-Videomodell Wan2.1 von Alibaba. Ein wesentlicher Unterschied liegt in der vereinfachten Architektur: Während Diffusionsmodelle Videos typischerweise durch viele kleine Schritte aus Rauschen erzeugen, produziert GenCeption eine Vorhersage in einem einzigen Durchlauf. Dies macht es schnell genug für praktische Computer-Vision-Aufgaben.

Ein zentraler Ansatz von GenCeption ist die Vereinheitlichung der Ausgabe: Jede Aufgabe wird als standardmäßiges dreikanaliges RGB-Bild dargestellt, unabhängig davon, ob es sich um eine Tiefenkarte, eine Oberflächennormalenkarte oder eine Segmentierungsmaske handelt. Auch Kamerabewegungen werden in eine Bildrepräsentation umgewandelt. Die gewünschte Aufgabe wird dem Modell über einen Text-Prompt mitgeteilt, ähnlich wie bei einem Chatbot. Für Aufgaben, die keine Bildausgabe erzeugen, wie die 3D-Schlüsselpunktvorhersage, werden trainierbare Module hinzugefügt.

Das Training von GenCeption erfolgt mit einer einzigen Verlustfunktion über alle Aufgaben hinweg. Anstatt die Architektur für jede Aufgabe anzupassen, verarbeiten die Forscher die Trainingsdaten so, dass sie den aufgabenspezifischen Anforderungen gerecht werden.

Leistungsfähigkeit und Dateneffizienz

Die Ergebnisse von GenCeption sind bemerkenswert. Das Modell erreicht oder übertrifft in vielen Benchmarks den Stand der Technik, obwohl es eine einzige Architektur für alle Aufgaben verwendet. Beispielsweise sind seine Tiefenschätzungen mit denen spezialisierter Modelle wie DepthAnything 3 vergleichbar. Bei der Schätzung von Oberflächennormalen übertrifft es NormalCrafter und Lotus-2 und bei der 3D-Posen-Erkennung Genmo und TRAM. Bei der komplexen sprachgesteuerten Segmentierung erreicht es die Leistung von Metas SAM 3 in Kombination mit Gemini 3.5 Flash.

Ein besonders hervorzuhebender Aspekt ist die Dateneffizienz. Modelle wie D4RT und VGGT Omega wurden mit Millionen von Videos trainiert. GenCeption erzielt ähnliche Ergebnisse mit 7- bis 500-mal weniger Daten. Die Forscher führen dies auf die Videogenerierungsaufgabe selbst zurück, die es den Modellen ermöglicht, nützliche Repräsentationen von Raum und Bewegung zu lernen.

Generalisierung und Grenzen

Obwohl GenCeption fast ausschließlich mit synthetischen Videos trainiert wurde, die jeweils eine Person zeigen, funktioniert es auch bei realen Videos mit mehreren Personen, Tieren und humanoiden Robotern. Die Ergebnisse zeigen, dass das Modell Details wie Katzenhaare oder einzelne Haarsträhnen bewahren kann, die detaillierter sind als die in den Blender-Renderings der Trainingsdaten vorhandenen.

Dennoch gibt es auch Grenzen. Das gemeinsame Training über alle Aufgaben hinweg beeinträchtigt die 3D-Schlüsselpunktvorhersage. Die Forscher vermuten, dass die für diese Aufgabe erforderlichen zusätzlichen Komponenten mit den Mechanismen interferieren, die das Basismodell während des Vortrainings gelernt hat. Eine weitere Herausforderung ist die Verarbeitungsgeschwindigkeit: Das kleinere Modell benötigt etwa sechs Sekunden für ein Video mit 81 Bildern, das größere Modell mit 14 Milliarden Parametern etwa zehn Sekunden.

Die Debatte um "Weltmodelle"

Die Autoren von Google DeepMind lehnen die Vorstellung ab, dass Videogeneratoren lediglich Unterhaltungswerkzeuge sind. Sie argumentieren, dass diese Modelle bereits eine Art universelles "Weltmodell" enthalten, das als Grundlage für ein Fundamentmodell der Computer Vision dienen könnte. Ein solches System könnte in der Bildverarbeitung eine ähnliche Rolle spielen wie große Sprachmodelle im Bereich des Textes.

Diese Sichtweise ist jedoch Gegenstand von Debatten. Ein internationales Forschungsteam schlug kürzlich eine einheitliche Definition für "Weltmodelle" vor und schloss Text-zu-Video-Modelle explizit aus, da diesen das Feedback aus der realen Welt fehle. Auch der ehemalige Meta-Chef-KI-Wissenschaftler Yann LeCun vertritt die Ansicht, dass generative Videomodelle eine Sackgasse darstellen. Metas V-JEPA 2 verfolgt einen alternativen Ansatz, der abstrakte Konzepte statt Pixel vorhersagt.

Studien, wie ein Benchmark der Tsinghua-Universität, weisen auf die Grenzen der Pixelvorhersage hin. Modelle wie Sora 2, Seedance 2.0 und Veo 3.1 scheiterten wiederholt an Tests grundlegender Physik und Logik, selbst wenn ihre Ausgaben überzeugend aussahen.

GenCeption nutzt die Videogenerierung für einen spezifischeren Zweck. Die Forscher fordern Wan2.1 nicht auf, das Verhalten der Welt vorherzusagen, sondern nutzen es, um Merkmale für spezifische Aufgaben wie Tiefenschätzung und Segmentierung zu extrahieren. Dort können die gelernten Merkmale spezialisierte Systeme übertreffen. Google DeepMind verfolgt zudem einen anderen Ansatz mit Genie 3, das interaktive 3D-Umgebungen für das Training von KI-Agenten erstellt.

Ausblick für die B2B-Anwendung

Für Unternehmen im B2B-Sektor könnten die Erkenntnisse aus der GenCeption-Forschung von erheblicher Bedeutung sein. Die Fähigkeit, mit deutlich weniger Daten vergleichbare oder überlegene Ergebnisse in der Computer Vision zu erzielen, verspricht eine erhebliche Reduzierung von Trainingskosten und -zeiten. Dies könnte die Entwicklung und Implementierung von KI-gestützten Lösungen in Bereichen wie Qualitätskontrolle, autonome Systeme, Überwachung und erweiterte Realität beschleunigen. Die Generalisierungsfähigkeit des Modells auf unbekannte Objekte und Szenarien eröffnet zudem neue Möglichkeiten für flexible und anpassungsfähige Vision-Systeme, die weniger auf spezifische, umfangreiche Datensätze angewiesen sind. Die weitere Forschung in diesem Bereich wird zeigen, inwieweit diese "Weltmodelle" tatsächlich als Fundament für eine neue Generation von Computer-Vision-Anwendungen dienen können.

Bibliographie

- Wang, L. et al. (2026). Video Generation Models are General-Purpose Vision Learners. arXiv preprint arXiv:2607.09024. - Kemper, J. (2026). Google Deepmind argues video generators already contain the world models computer vision has been missing. The Decoder. - Benigni, A. (2026). DeepMind Repurposes a Video Generator as a Universal Vision Model. AI Insiders. - Ramsey, M. (2026). Video Generation Pre-Training Unifies Six Vision Tasks, Beats Specialists on Less Data. TechTimes. - Neura News. (2026). Google DeepMind: Video Generators Hold Key to Computer Vision. Neura Market. - DeepSignal. (2026). Google Deepmind argues video generators already contain the world… AI Deep Signal. - Google DeepMind. (2025). Video models are zero-shot learners and reasoners. - Genception.github.io. (n.d.). Video Generation Models are General-Purpose Vision Learners. - DEV Community. (2026). A video generator, repurposed as a perception model, matches specialists with up to 500x less data.