Textbasierte Videoerstellung: Tencent revolutioniert mit VideoCrafter2 die KI-Technologie
Artikel jetzt als Podcast anhören
In einer Welt, in der künstliche Intelligenz immer mehr in unseren Alltag eindringt, stellt die Fähigkeit, Text in Videos umzuwandeln, einen bedeutenden Fortschritt in der Technologie dar. Tencent, ein chinesisches Technologieunternehmen, das bereits in verschiedenen Bereichen der digitalen Welt Fuß gefasst hat, sticht mit seiner neuesten Entwicklung heraus: VideoCrafter2. Diese KI-getriebene Plattform hat in jüngster Zeit bedeutende Verbesserungen erfahren, insbesondere in den Bereichen visuelle Qualität, Bewegungsdarstellung und Konzeptkomposition.
Die Generierung von Videos basierend auf textuellen Eingaben ist ein Bereich, der wissenschaftlich als Text-zu-Video-Generierung bekannt ist. Dabei werden Videos auf Grundlage eines vorgegebenen Textes erstellt. Bislang haben kommerzielle Videomodelle gezeigt, dass sie plausible Videos mit minimalen Störungen, exzellenten Details und hohen ästhetischen Werten generieren können. Diese Modelle stützen sich jedoch auf groß angelegte, gut gefilterte, hochqualitative Videos, die nicht allgemein zugänglich sind.
Viele existierende Forschungsarbeiten, die Modelle mit dem WebVid-10M-Datensatz – einem Set aus Videos mit niedriger Qualität – trainieren, hadern damit, Videos in hoher Qualität zu erzeugen. Das liegt daran, dass die Modelle optimiert worden sind, um sich an den WebVid-10M-Datensatz anzupassen. In einer kürzlich durchgeführten Studie wurde das Trainingsschema von Videomodellen, die auf der stabilen Diffusionstechnik basieren, untersucht. Dabei wurde die Machbarkeit erforscht, Videos mit niedriger Qualität und synthetisierte hochqualitative Bilder zu verwenden, um ein hochqualitatives Videomodell zu erhalten.
Die Forscher analysierten die Verbindung zwischen den räumlichen und zeitlichen Modulen von Videomodellen und die Verschiebung der Verteilung zu Videos mit niedriger Qualität. Es wurde beobachtet, dass das vollständige Training aller Module zu einer stärkeren Kopplung zwischen den räumlichen und zeitlichen Modulen führt als das alleinige Training der zeitlichen Module. Aufgrund dieser stärkeren Kopplung gelang es, die Verteilung auf höhere Qualität zu verschieben, ohne die Bewegungsdarstellung zu beeinträchtigen, indem die räumlichen Module mit hochqualitativen Bildern feinabgestimmt wurden. Dies führte zu einem generischen Hochqualitäts-Videomodell.
Die Evaluierung des verbesserten VideoCrafter2 zeigte seine Überlegenheit, insbesondere in der Bildqualität, der Darstellung von Bewegungen und der Zusammenstellung von Konzepten. Um die Entwicklungen zu demonstrieren, wurde eine Demo auf Hugging Face, einer Plattform für KI-Modelle, veröffentlicht. Code, Modelle und Daten des VideoCrafter2 werden unter der Apache 2.0-Lizenz verteilt, was bedeutet, dass sie von der Community verwendet und weiterentwickelt werden können.
Während andere Modelle wie Meta AIs EmuVideo kurze 4-Sekunden-Videos in einer Auflösung von 512x512 Pixeln und 16 Bildern pro Sekunde generieren, indem zunächst ein Bild erstellt und dann entlang der zeitlichen Achse „hochskaliert“ wird, um Bewegung zu synthetisieren, stellt VideoCrafter2 einen bedeutenden Schritt nach vorn dar. Langform-Videos bleiben zwar weiterhin eine Herausforderung, aber die Verbesserungen in der Qualität und Kohärenz der Bewegungsdarstellung in kurzen Segmenten sind beeindruckend und ein Indikator für das Potenzial, das in dieser Technologie steckt.
Trotz des Fortschritts gibt es immer noch sichtbare Mängel, wie etwa Veränderungen in der Textur der Straße unter einem laufenden Teddybären oder unnatürlich fließendes Wasser unter einem Schiff. Diese Artefakte sind zu erwarten, zeigen jedoch, dass es noch Raum für Verbesserungen gibt. Mit zunehmendem Verständnis der zugrundeliegenden Algorithmen und einer wachsenden Datenmenge zur Schulung der Modelle können solche Fehler in Zukunft minimiert werden.
VideoCrafter2 ist nicht nur ein Beweis für die Fortschritte in der KI-Forschung, sondern auch ein Beispiel dafür, wie Open-Source-Ressourcen und die Zusammenarbeit in der KI-Community zu schnelleren und umfassenderen Entwicklungen führen können. Mit der stetigen Verbesserung der Technologie und der zunehmenden Verfügbarkeit hochqualitativer Trainingsdaten ist es nur eine Frage der Zeit, bis Text-zu-Video-Generierung ein alltägliches Werkzeug für Content-Erstellung, Bildung und Unterhaltung wird.
