In der Welt der künstlichen Intelligenz (KI) schreitet die Entwicklung rasant voran, insbesondere im Bereich der Generierung von 3D-Inhalten. Ein Forscherteam der Stanford University und des MIT hat nun mit WonderWorld ein KI-System entwickelt, das in der Lage ist, interaktive 3D-Szenen aus einem einzigen Bild in nur 10 Sekunden zu erstellen. Dieses bahnbrechende System ermöglicht es Nutzern, virtuelle Umgebungen Schritt für Schritt zu gestalten und zu erkunden, indem sie Inhalte und Layout der generierten Szenen beeinflussen. Eine der größten Herausforderungen bei der Entwicklung von WonderWorld war die Geschwindigkeit der 3D-Szenengenerierung. Während frühere Ansätze oft Dutzende von Minuten bis Stunden benötigten, um eine einzelne Szene zu erstellen, kann WonderWorld eine neue 3D-Umgebung innerhalb von 10 Sekunden auf einer Nvidia A6000 GPU erzeugen. Diese Geschwindigkeit ermöglicht Echtzeitinteraktion, ein bedeutender Fortschritt auf diesem Gebiet.

Wie funktioniert WonderWorld?

WonderWorld beginnt mit einem Eingabebild und generiert daraus eine erste 3D-Szene. Anschließend wechselt das System in eine Schleife, in der abwechselnd Szenenbilder und entsprechende FLAGS-Repräsentationen erzeugt werden. Benutzer können durch Bewegen der Kamera steuern, wo neue Szenen generiert werden, und über Texteingaben die Art der gewünschten Szene festlegen. Die FLAGS-Repräsentation besteht aus drei Ebenen: Vordergrund, Hintergrund und Himmel. Jede Ebene enthält eine Reihe von "Surfels" – Elemente, die durch ihre 3D-Position, Ausrichtung, Skalierung, Deckkraft und Farbe definiert sind. Diese Surfels werden anhand geschätzter Tiefen- und Normalenkarten initialisiert und anschließend für die endgültige Szene optimiert. Um geometrische Verzerrungen bei Szenenübergängen zu reduzieren, verwendet WonderWorld einen geführten Tiefendiffusionsprozess. Dieser nutzt ein vortrainiertes Diffusionsmodell für Tiefenkarten und passt die Tiefenschätzung an die Geometrie bereits vorhandener Teile der Szene an.

Potenzial für die Spieleentwicklung

Experimente haben gezeigt, dass WonderWorld bisherige Methoden zur 3D-Szenengenerierung in Bezug auf Geschwindigkeit und visuelle Qualität deutlich übertrifft. In Benutzerstudien wurden die generierten Szenen als visuell überzeugender bewertet als die von anderen Ansätzen erzeugten. Trotz der beeindruckenden Fähigkeiten weist das System auch einige Einschränkungen auf. Derzeit kann es nur nach vorne gerichtete Oberflächen erstellen, wodurch die Benutzerbewegung in der virtuellen Welt auf etwa 45 Grad beschränkt ist. Zudem kämpft das System mit detaillierten Objekten wie Bäumen, was zu "Löchern" oder "schwebenden" Elementen führen kann, wenn sich der Blickwinkel ändert. Trotz dieser Einschränkungen sehen die Forscher ein großes Potenzial für WonderWorld in verschiedenen Anwendungsbereichen. Spieleentwickler könnten es nutzen, um 3D-Welten iterativ aufzubauen. Es könnte größere und vielfältigere Inhalte für Virtual-Reality-Erlebnisse generieren. Langfristig könnte es Nutzern ermöglichen, frei erkundbare, sich dynamisch entwickelnde virtuelle Welten zu erschaffen.

Fazit

WonderWorld ist ein vielversprechender Schritt in Richtung einer Zukunft, in der die Erstellung von 3D-Inhalten einfacher, schneller und interaktiver wird. Die Fähigkeit, aus einem einzigen Bild immersive virtuelle Umgebungen zu generieren, eröffnet neue Möglichkeiten für Spieleentwickler, Designer und alle, die sich für die Möglichkeiten der virtuellen Realität interessieren. Obwohl noch Herausforderungen zu bewältigen sind, birgt WonderWorld das Potenzial, die Art und Weise, wie wir 3D-Welten erschaffen und erleben, grundlegend zu verändern.

Bibliographie

Yu, Duan et al. "WonderWorld: Interactive 3D Scene Generation from a Single Image". arXiv preprint arXiv:2406.09394 (2024). https://arxiv.org/abs/2406.09394 https://www.aimodels.fyi/papers/arxiv/wonderworld-interactive-3d-scene-generation-from-single https://kovenyu.com/wonderworld/ https://medium.com/chat-gpt-now-writes-all-my-articles/world-building-ai-literally-emerging-technology-wonderworld-6cfed6cb11aa https://www.reddit.com/r/singularity/comments/1fiugew/wonderworld_a_novel_framework_for_interactive_3d/ https://arxiv.org/html/2406.09394v1 https://medium.com/@moba1720902/game-gen-o-and-wonderworld-a-huge-leap-in-ai-powered-game-development-eae47e032417 https://www.youtube.com/watch?v=5ntdkwAt3Uw https://www.techradar.com/computing/artificial-intelligence/this-new-ai-modeler-can-turn-pictures-into-3d-sculptures-in-seconds https://deepmind.google/discover/blog/sima-generalist-ai-agent-for-3d-virtual-environments/