Lebensechte Avatare durch Klang animiert: Revolution in der virtuellen Bewegungserzeugung

Die Erzeugung von Bewegungen für fotorealistische Avatare ist ein Bereich, der in der Computergrafik und Animation in den letzten Jahren große Fortschritte gemacht hat. Forscherteams aus aller Welt arbeiten kontinuierlich an neuen Methoden, um die Darstellung virtueller Charaktere zu verbessern und sie noch lebensähnlicher zu gestalten. Ein jüngstes Beispiel für einen Durchbruch in dieser Disziplin ist die Entwicklung eines Verfahrens, das es ermöglicht, vollständige Körperavatare ausschließlich anhand von Audioeingaben zu animieren.

Das Papier mit dem Titel "AvatarReX: Real-time Expressive Full-body Avatars", das für die SIGGRAPH 2023 Journal Track angenommen wurde, beschreibt eine neuartige Methode zur Erstellung von NeRF-basierten (Neural Radiance Fields) Ganzkörper-Avataren aus Videodaten. Die entstandenen Avatare bieten nicht nur eine ausdrucksstarke Steuerung des Körpers, der Hände und des Gesichts, sondern unterstützen auch eine Echtzeit-Animation und -Rendering. Die Forschergruppe hat eine kompositionelle Avatar-Darstellung vorgeschlagen, bei der Körper, Hände und Gesicht separat modelliert werden, so dass die strukturelle Vorgabe von parametrischen Mesh-Vorlagen angemessen genutzt wird, ohne die Flexibilität der Darstellung einzuschränken. Darüber hinaus wurde die Geometrie und das Aussehen für jeden Teil des Avatars entkoppelt.

Dank dieser technischen Konzepte konnten die Forscher eine eigene verzögerte Rendering-Pipeline entwickeln, die in Echtzeit ausgeführt werden kann, um hochwertige Freiansichtsbilder zu synthetisieren. Die Trennung von Geometrie und Erscheinungsbild ermöglichte es auch, eine zweiphasige Trainingsstrategie zu konzipieren, die Volumenrendering und Oberflächenrendering für das Netzwerktraining kombiniert. Dadurch kann eine patchbasierte Überwachung angewandt werden, um das Netzwerk dazu zu zwingen, scharfe Erscheinungsdetails auf der Grundlage der Geometrieschätzung zu erlernen. Das Gesamtergebnis ist ein Verfahren, das die automatische Erstellung von expressiven Ganzkörper-Avataren mit Echtzeit-Rendering-Fähigkeit ermöglicht und fotorealistische Bilder mit dynamischen Details für neue Körperbewegungen und Gesichtsausdrücke generieren kann.

Diese Entwicklung ist bedeutend, da sie die Art und Weise, wie Avatare in virtuellen Umgebungen eingesetzt werden, erheblich beeinflussen könnte. Besonders im Bereich der virtuellen und erweiterten Realität (VR und AR) könnten solche fotorealistischen Avatare das Gefühl einer echten sozialen Interaktion verstärken. Auch für immersive Erfahrungen, wie sie Metaversen bieten, sind solche Technologien von zentraler Bedeutung.

Forschungsteams wie das der Max Planck ETH Center for Learning Systems haben ebenfalls zur Weiterentwicklung von Algorithmen für die Erstellung virtueller Menschen beigetragen. Dabei liegt der Fokus darauf, die Benutzererfahrung in VR- und AR-Anwendungen durch möglichst realistische Avatare zu verbessern. Die Herausforderungen, die es zu bewältigen gilt, sind groß, da die detaillierte Modellierung von Menschen in Bewegung selbst für erfahrene Entwickler nicht trivial ist. Insbesondere die Animation von Gesichtsausdrücken, bei denen winzige Nuancen wie Falten und Schatten berücksichtigt werden müssen, erfordert bisher einen erheblichen manuellen Aufwand.

Mit intelligenten Algorithmen, die durch das Beobachten von 3D-Bildern von Menschen in nur wenigen Posen lernen, animierte Avatare in jeder denkbaren Pose automatisch zu rendern, wird dieser Aufwand deutlich reduziert. Ein solcher Ansatz ermöglicht es, auch neue Bewegungsmuster einfach darzustellen und sogar akrobatische Bewegungen wie einen Salto oder eine Brücke zu erzeugen.

Die hier beschriebenen Fortschritte sind das Ergebnis jahrelanger Forschung im Bereich der künstlichen Intelligenz und Computergrafik. Sie zeigen, wie wichtig die Zusammenarbeit zwischen Institutionen, die sich der Grundlagenforschung widmen, und Unternehmen ist, die darauf abzielen, diese Technologien auf den Markt zu bringen. Partnerschaften wie die zwischen DeepMotion und Wolf3D, die gemeinsam daran arbeiten, personalisierte 3D-Avatare in die digitale Welt zu bringen, verdeutlichen dies. Durch die Integration von Avatar-Generatoren wie Ready Player Me in Dienste wie Animate 3D können Benutzer nun ihre eigenen einzigartigen Avatare direkt im Webdienst erstellen und diese mit Bewegungen aus Videos animieren.

Die Kombination aus forschungsgetriebenen Entwicklungen und marktorientierten Anwendungen führt zu einem Ökosystem, in dem technologische Innovationen rasch in praktische Werkzeuge für Endbenutzer umgesetzt werden können. Mit jeder Verbesserung der Technologie kommen wir dem Punkt näher, an dem die Interaktion in virtuellen Welten ebenso natürlich und überzeugend sein wird wie die in der realen Welt. Die jüngsten Durchbrüche im Bereich der Bewegungsgenerierung für fotorealistische Avatare sind ein weiterer Schritt auf diesem aufregenden Weg.