KI-Technologie im Film: Die Zukunft der visuellen Effekte in Here

KI-gestützte visuelle Effekte: "Here" lässt Tom Hanks und Robin Wright durch die Zeit reisen

Der neue Film "Here" von Robert Zemeckis nutzt generative KI, um Tom Hanks und Robin Wright über einen Zeitraum von 60 Jahren darzustellen. Diese Technologie ermöglicht es den Schauspielern, verschiedene Altersstufen nahtlos zu verkörpern, ohne dass aufwendige Maskenbildnerei oder traditionelle CGI-Effekte erforderlich sind.

Die Handlung und die Technologie dahinter

"Here" adaptiert eine Graphic Novel aus dem Jahr 2014, die hauptsächlich in einem Wohnzimmer in New Jersey spielt und verschiedene Zeitperioden umfasst. Anstatt unterschiedliche Schauspieler für die verschiedenen Altersstufen zu besetzen, wurde KI eingesetzt, um das Aussehen von Hanks und Wright im Laufe der Geschichte zu verändern. Die Technologie für die Verjüngung und Alterung stammt von Metaphysic, einem Unternehmen für visuelle Effekte, das auf Echtzeit-Face-Swapping und Alterungseffekte spezialisiert ist. Während der Dreharbeiten verfolgte die Crew zwei Monitore gleichzeitig: einen, der das tatsächliche Aussehen der Schauspieler zeigte, und einen weiteren, der sie in dem Alter darstellte, das für die jeweilige Szene erforderlich war.

Metaphysics KI-Modell

Metaphysic entwickelte das System zur Gesichtsmodifikation, indem maßgeschneiderte Machine-Learning-Modelle mit Einzelbildern aus früheren Filmen von Hanks und Wright trainiert wurden. Dazu gehörte ein großer Datensatz an Gesichtsbewegungen, Hauttexturen und Erscheinungsbildern unter verschiedenen Lichtverhältnissen und Kamerawinkeln. Die resultierenden Modelle können sofortige Gesichtstransformationen generieren, ohne dass monatelange manuelle Nachbearbeitung erforderlich ist, wie es bei herkömmlicher CGI der Fall wäre. Im Gegensatz zu früheren Alterungseffekten, die auf der Einzelbildmanipulation beruhten, generiert der Ansatz von Metaphysic Transformationen sofort, indem Gesichtsmerkmale analysiert und auf trainierte Altersvariationen abgebildet werden.

Revolution in Hollywood?

„Man hätte diesen Film vor drei Jahren nicht machen können“, sagte Zemeckis der New York Times in einem ausführlichen Bericht über den Film. Herkömmliche visuelle Effekte für dieses Niveau der Gesichtsmodifikation würden Berichten zufolge Hunderte von Künstlern und ein deutlich größeres Budget erfordern, das eher den Kosten eines Standard-Marvel-Films entspricht. "Here" ist nicht der erste Film, in dem KI-Techniken zum Verjüngen von Schauspielern eingesetzt wurden. ILMs Ansatz zur Verjüngung von Harrison Ford in "Indiana Jones und das Rad des Schicksals" aus dem Jahr 2023 verwendete ein proprietäres System namens Flux mit Infrarotkameras, um Gesichtsdaten während der Dreharbeiten zu erfassen, und dann alte Bilder von Ford, um ihn in der Postproduktion zu verjüngen. Im Gegensatz dazu verarbeiten die KI-Modelle von Metaphysic Transformationen ohne zusätzliche Hardware und zeigen die Ergebnisse während der Dreharbeiten.

KI im Filmgeschäft - Fluch oder Segen?

Der Film "Here" erscheint zu einem Zeitpunkt, an dem große Studios KI-Anwendungen jenseits von visuellen Effekten erforschen. Unternehmen wie Runway haben Text-zu-Video-Generierungstools entwickelt, während andere KI-Systeme wie Callaia für die Drehbuchanalyse und die Vorproduktionsplanung entwickeln. Allerdings setzen die jüngsten Tarifverträge den Einsatz von KI in kreativen Prozessen wie dem Drehbuchschreiben strenge Grenzen. Wie beim Streik der Gewerkschaft SAG-AFTRA im letzten Jahr zu beobachten war, debattieren Hollywood-Studios und Gewerkschaften weiterhin heftig über die Rolle der KI im Filmemachen. Während die Screen Actors Guild und die Writers Guild in den jüngsten Verträgen einige KI-Beschränkungen durchgesetzt haben, sehen viele Branchenveteranen die Technologie als unvermeidlich an. „Alle sind nervös“, sagte Susan Sprung, CEO der Producers Guild of America, gegenüber der New York Times. „Und doch ist sich niemand ganz sicher, worüber er nervös sein soll.“ Dennoch wurde die Technologie von Metaphysic laut New York Times bereits in zwei weiteren Veröffentlichungen des Jahres 2024 eingesetzt. In "Furiosa: A Mad Max Saga" wurde sie verwendet, um die Figur des verstorbenen Schauspielers Richard Carter wiederzubeleben, während in "Alien: Romulus" Ian Holms Androidenfigur aus dem Original von 1979 zurückkehrte. Beide Implementierungen erforderten die Zustimmung des Nachlasses gemäß der neuen kalifornischen Gesetzgebung zur Regelung von KI-Nachbildungen von Darstellern, die oft als Deepfakes bezeichnet werden.

Ethische Bedenken

Nicht jeder ist zufrieden damit, wie sich die KI-Technologie im Film entwickelt. Robert Downey Jr. sagte kürzlich in einem Interview, er werde seinen Nachlass anweisen, jeden zu verklagen, der versucht, ihn für einen weiteren Filmauftritt digital von den Toten zurückzuholen. Doch selbst mit Kontroversen scheint Hollywood immer noch einen Weg zu finden, todesmutige (und altersverachtende) visuelle Meisterleistungen auf die Leinwand zu bringen - besonders wenn genug Geld im Spiel ist.

Die Technologie von Metaphysic und ihr Einsatz in "Here" wirft wichtige Fragen über die Zukunft des Filmemachens auf. Während die Möglichkeit, Schauspieler in jedem Alter darzustellen, neue erzählerische Möglichkeiten eröffnet, könnten sich auch Bedenken hinsichtlich der Verdrängung von Arbeitsplätzen für Maskenbildner und andere VFX-Spezialisten ergeben. Der Erfolg und die Resonanz von "Here" könnten als Indikator für die zukünftige Integration von KI im Mainstream-Kino dienen und möglicherweise beeinflussen, wie andere Filmemacher und Studios ähnliche Technologien in ihren Produktionen einsetzen.

Bibliographie: https://getcoai.com/news/ai-de-ages-tom-hanks-in-zemeckis-latest-film/ https://www.allsides.com/news/2024-11-04-1615/general-news-new-zemeckis-film-used-ai-de-age-tom-hanks-and-robin-wright https://variety.com/2024/film/features/robert-zemeckis-here-tom-hanks-aging-tech-1236196938/ https://twitter.com/TrungTPhan/status/1853120945097199730 https://www.croma.com/unboxed/here-movie-tom-hanks-robi-wright-de-aged-using-ai?srsltid=AfmBOooR5oQqDlj14cwRZee46kdEQCmzFJLvUwZZpdj5w5SkrFfPaIZB https://www.nytimes.com/2024/11/01/magazine/ai-hollywood-movies-cgi.html https://www.rapidrecap.co.in/article/6729e758abc9c495c49ad8e4 https://www.livemint.com/mint-lounge/business-of-life/ai-tracker-apple-intelligence-tom-hanks-here-movie-11730186880496.html https://www.sedlacek-t.cz/new-zemeckis-film-used-ai-to-de-age-tom-hanks-and-robin-wright/