Autonome Interaktion von Charakteren mit ihrer Umgebung: Sprachsteuerung revolutioniert 3D-Animation

Die Animation von Figuren in einer 3D-Umgebung, insbesondere bei komplexen Bewegungsabläufen wie Fortbewegung, Greifen oder Interaktion mit Objekten, stellt Entwickler vor große Herausforderungen. Bislang erforderten realistische Bewegungsabläufe aufwendige, manuelle Eingriffe, um Wegpunkte und Übergänge zwischen verschiedenen Bewegungsphasen festzulegen. Eine neue Forschungsarbeit verspricht nun Abhilfe durch die Entwicklung eines Frameworks, das die autonome Synthese von mehrstufigen, umgebungsbewussten Interaktionen ermöglicht – und das allein durch Texteingaben und die Festlegung eines Zielorts.

Diffusion Models und Automatisierung: Ein neuer Ansatz für komplexe Bewegungsabläufe

Im Zentrum des neuen Ansatzes steht ein autoregressives Diffusionsmodell, das die Generierung des nächsten Bewegungssegments übernimmt. Ein autonomer Scheduler sagt dabei den Übergang zwischen den einzelnen Bewegungsphasen voraus. Um eine nahtlose Integration der Bewegungen in die Umgebung zu gewährleisten, setzt das Framework auf eine spezielle Szenenrepräsentation. Diese berücksichtigt die lokale Wahrnehmung sowohl am Start- als auch am Zielort der Bewegung. Die Kohärenz der generierten Bewegungen wird durch die Integration von Frame-Embeddings und Texteingaben zusätzlich verbessert.

LINGO: Ein umfangreicher Datensatz für das Training von KI-Modellen

Für das Training des Modells wurde ein umfangreicher Motion-Capture-Datensatz namens LINGO erstellt. Dieser umfasst 16 Stunden an Bewegungssequenzen in 120 verschiedenen Indoor-Umgebungen. Die 40 verschiedenen Bewegungstypen sind jeweils mit präzisen Sprachbeschreibungen annotiert. LINGO wurde mithilfe eines neuartigen VR-gestützten Motion-Capture-Verfahrens aufgezeichnet. Dabei wird ein synthetisches Bild der Umgebung in ein VR-Headset projiziert, das der Schauspieler trägt. Ein speziell entwickeltes Blender-Addon erleichtert den Aufnahmeprozess und ermöglicht sowohl eine Ego- als auch eine Third-Person-Perspektive auf die Bewegungen des Schauspielers.

Vielversprechende Ergebnisse und zukünftige Anwendungen

Erste Tests des neuen Frameworks zeigen vielversprechende Ergebnisse. Die generierten Bewegungen sind flüssig, realistisch und passen sich der Umgebung sowie den vorgegebenen Texteingaben an. Der Ansatz könnte die 3D-Animation revolutionieren und die Produktion von Filmen, Videospielen und anderen interaktiven Anwendungen deutlich vereinfachen. Auch in der Robotik und bei der Entwicklung von virtuellen Assistenten könnten die Erkenntnisse aus der Forschungsarbeit Anwendung finden.

--- http://arxiv.org/abs/2410.03187 https://yzhu.io/publication/hoi2024siggraphasia/paper.pdf https://pku.ai/publication/hoi2024siggraphasia/supp.pdf https://lingomotions.com/ https://paperreading.club/page?id=256710 https://www.researchgate.net/publication/372549033_Synthesizing_Physical_Character-Scene_Interactions https://studios.disneyresearch.com/wp-content/uploads/2019/03/Generating-and-Ranking-Diverse-Multi-Character-Interactions-Paper.pdf https://www.researchgate.net/publication/368159338_Synthesizing_Physical_Character-Scene_Interactions https://openaccess.thecvf.com/content/CVPR2024/papers/Jiang_Scaling_Up_Dynamic_Human-Scene_Interaction_Modeling_CVPR_2024_paper.pdf https://arxiv.org/html/2405.14701v2