MimicMotion: Fortschritte in der Generierung von hochqualitativen menschlichen Bewegungs­videos

Einführung

In den letzten Jahren hat die generative künstliche Intelligenz bedeutende Fortschritte im Bereich der Bildgenerierung erzielt, was eine Vielzahl von Anwendungen hervorgebracht hat. Die Videogenerierung steht jedoch weiterhin vor erheblichen Herausforderungen in Bezug auf Steuerbarkeit, Videolänge und Detailreichtum, was die Anwendung und Popularisierung dieser Technologie behindert. Hier setzt MimicMotion an, ein Framework zur kontrollierbaren Videogenerierung, das in der Lage ist, hochqualitative Videos beliebiger Länge mit beliebiger Bewegungsguidance zu erzeugen.

Die Besonderheiten von MimicMotion

MimicMotion hebt sich von bisherigen Methoden in mehreren Aspekten ab. Erstens ermöglicht die Nutzung von konfidenzbasierter Pose-Guidance eine temporale Glättung, wodurch die Robustheit des Modells durch groß angelegte Trainingsdaten verbessert wird. Zweitens erleichtert die regionale Verlustverstärkung basierend auf der Pose-Konfidenz signifikant die Bildverzerrung. Drittens wird für die Generierung langer, glatter Videos eine progressive latente Fusionsstrategie vorgeschlagen, die es ermöglicht, Videos beliebiger Länge mit akzeptablem Ressourcenverbrauch zu generieren.

Technische Details und Modellarchitektur

MimicMotion integriert ein Bild-zu-Video-Diffusionsmodell mit neuartiger konfidenzbasierter Pose-Guidance. Die trainierbaren Komponenten des Modells bestehen aus einem spatiotemporalen U-Net und einem PoseNet, um die Pose-Sequenz als Bedingung einzuführen. Zu den Schlüsselfunktionen der konfidenzbasierten Pose-Guidance gehören: - Die Pose-Sequenz wird von Keypoint-Konfidenz-Scores begleitet, die es dem Modell ermöglichen, den Einfluss der Pose-Guidance basierend auf dem Score adaptiv anzupassen. - Regionen mit hoher Konfidenz werden im Verlustfunktion höher gewichtet, wodurch ihr Einfluss im Training verstärkt wird.

Regionale Verfeinerung und progressive latente Fusion

Die regionale Verfeinerung erfolgt durch eine Maskierungsstrategie, die Masken basierend auf einem Konfidenzschwellenwert generiert. Bereiche, in denen die Konfidenz-Scores einen vordefinierten Schwellenwert überschreiten, werden demaskiert, wodurch zuverlässige Regionen identifiziert werden. Beim Berechnen des Verlusts des Video-Diffusionsmodells werden die Verlustwerte, die den demaskierten Regionen entsprechen, verstärkt, sodass sie mehr Einfluss auf das Modelltraining haben als andere maskierte Regionen. Die progressive latente Fusion ermöglicht die Erzeugung langer Videos mit temporaler Glättung. Während jedes Denoisingschritts werden Videosegmente zunächst separat mit dem trainierten Modell denoised, wobei sie auf das gleiche Referenzbild und die entsprechende Pose-Subsequenz konditioniert werden. Innerhalb jedes Denoisingschritts werden die überlappenden Frames progressiv entsprechend ihrer Frame-Positionen fusioniert.

Vergleich mit aktuellen Methoden

MimicMotion zeigt signifikante Verbesserungen gegenüber früheren Ansätzen in mehreren Aspekten. In quantitativen Bewertungen erreicht MimicMotion bessere Ergebnisse in Bezug auf die Handgenerierungsqualität und die Einhaltung der Referenzpose. Dies zeigt sich auch in der stabilen Differenz zwischen den Frames und der besseren temporalen Glättung im Vergleich zu anderen Methoden. Die folgende Tabelle zeigt die Ergebnisse der quantitativen Bewertung: - MagicPose: FID-VID 13.3, FVD 916 - Moore: FID-VID 12.4, FVD 728 - MuseV: FID-VID 14.6, FVD 754 - MimicMotion (unseres): FID-VID 9.3, FVD 594

Benutzerstudien und Abgleiche

Benutzerstudien zeigen, dass MimicMotion gegenüber anderen Methoden bevorzugt wird. Dies zeigt sich in der Präferenz der Benutzer für MimicMotion auf dem TikTok-Datensatz-Testsplit. Die folgende Grafik zeigt die Präferenzen der Benutzer: - MimicMotion wird von den Benutzern gegenüber anderen Methoden bevorzugt.

Abstraktion und zukünftige Richtung

Mit umfangreichen Experimenten und Benutzerstudien demonstriert MimicMotion signifikante Verbesserungen gegenüber früheren Ansätzen in mehreren Aspekten. Die kontinuierliche Weiterentwicklung in der Technologie der generativen KI wird voraussichtlich weitere Fortschritte in der Videogenerierung bringen, die die Anwendung und Popularisierung dieser Technologie weiter fördern werden.

Fazit

MimicMotion stellt einen bedeutenden Fortschritt in der Generierung von hochqualitativen menschlichen Bewegungs­videos dar. Mit innovativen Ansätzen zur konfidenzbasierten Pose-Guidance, regionalen Verlustverstärkung und progressiver latenter Fusion bietet MimicMotion beeindruckende Verbesserungen in der Videogenerierung. Diese Verbesserungen eröffnen neue Möglichkeiten für Anwendungen in Bereichen wie Filmproduktion, virtueller Realität und mehr. Bibliographie: - https://github.com/Tencent/MimicMotion - https://huggingface.co/spaces/fffiloni/HandRefiner/blame/df34be676c7ffef1a8e3a44b96b2d24b302da870/app.py - https://huggingface.co/posts/whitphx/483674589268011 - https://huggingface.co/learn/nlp-course/chapter9/2