Salesforce revolutioniert KI-Videoerstellung: Moonshot und Control-A-Video läuten neue Ära ein

Salesforce, ein führender Anbieter von Cloud-basierten Softwarelösungen, hat vor Kurzem einen bemerkenswerten Fortschritt in der Welt der Künstlichen Intelligenz (KI) und des maschinellen Lernens angekündigt. Das Unternehmen stellte Moonshot vor, ein neues Modell zur Generierung und Bearbeitung von Videos, das auf multimodalen Bedingungen basiert. Im Gegensatz zu den meisten bestehenden Video-Diffusionsmodellen (VDMs), die sich auf reine Textbedingungen beschränken und somit nur wenig Kontrolle über das visuelle Erscheinungsbild und die geometrische Struktur der generierten Videos bieten, ermöglicht Moonshot eine gleichzeitige Konditionierung auf multimodale Eingaben wie Bilder und Text.

Das Modell basiert auf einem Kernmodul, dem sogenannten multimodalen Video-Block (MVB), der konventionelle räumlich-zeitliche Schichten zur Darstellung von Videomerkmalen umfasst. Zusätzlich beinhaltet es eine entkoppelte Cross-Attention-Schicht, die auf Bild- und Texteingaben zur Konditionierung des Erscheinungsbildes eingeht. Die Architektur des Modells wurde so entworfen, dass es optional mit vortrainierten Bild-Steuermodulen (image ControlNet modules) für visuelle geometrische Bedingungen integriert werden kann, ohne zusätzlichen Trainingsaufwand zu benötigen, wie es bei früheren Methoden der Fall war.

Experimente zeigen, dass Moonshot mit seinen vielseitigen multimodalen Konditionierungsmechanismen eine signifikante Verbesserung der visuellen Qualität und zeitlichen Konsistenz im Vergleich zu bestehenden Modellen demonstriert. Darüber hinaus kann das Modell leicht für eine Vielzahl von generativen Anwendungen, wie personalisierte Videogenerierung, Bildanimation und Videobearbeitung, umfunktioniert werden. Dies unterstreicht sein Potenzial, als grundlegende Architektur für kontrollierbare Videogenerierung zu dienen.

In ähnlicher Weise präsentierten Forscher ein weiteres kontrollierbares Text-zu-Video (T2V) Diffusionsmodell namens Control-A-Video. Dieses Modell zielt darauf ab, Videos zu generieren, die auf einer Sequenz von Steuersignalen wie Kanten- oder Tiefenkarten konditioniert sind. Um die Konsistenz der Objekte zu verbessern, integriert Control-A-Video Bewegungsvorgaben und Inhaltsprämissen in die Videogenerierung. Das Modell schlägt zwei bewegungsadaptive Rauschinitialisierungsstrategien vor, die auf Pixelresiduen und optischem Fluss basieren, um Bewegungsvorgaben aus Eingabevideos einzuführen, was zu kohärenteren Videos führt. Außerdem wird ein auf dem ersten Frame basierender Controller vorgeschlagen, der Videos aus den Inhaltsvorgaben des ersten Frames generiert, die die semantische Abstimmung mit Text erleichtern und eine längere Videogenerierung auf autoregressive Weise ermöglichen. Mit der vorgeschlagenen Architektur und Strategien erreicht das Modell eine ressourceneffiziente Konvergenz und erzeugt konsistente und kohärente Videos mit feinkörniger Kontrolle. Umfangreiche Experimente belegen seinen Erfolg in verschiedenen video-generativen Aufgaben wie Videobearbeitung und Videostilübertragung und übertreffen dabei frühere Methoden in Bezug auf Konsistenz und Qualität.

Diese Fortschritte in der KI-gesteuerten Videoproduktion sind nicht nur technisch beeindruckend, sondern haben auch das Potenzial, die Art und Weise, wie wir mit Medieninhalten interagieren und sie erstellen, grundlegend zu verändern. Von der Erstellung personalisierter Videos bis hin zur effektiven Bearbeitung bestehender Inhalte eröffnen solche Modelle neue Horizonte für Kreativität und Effizienz.

Die Entwicklungen auf dem Gebiet der KI-gesteuerten Videogenerierung und -bearbeitung stehen noch ganz am Anfang, und es bleibt abzuwarten, wie sich diese Technologien weiterentwickeln und in verschiedenen Branchen eingesetzt werden. Was jedoch klar ist, ist das Potenzial dieser Technologien, die Art und Weise, wie wir denken, lernen und Unterhaltung erleben, zu revolutionieren.