SpaceBlender Neue Technologien für die Integration realer Kontexte in virtuelle 3D Umgebungen
SpaceBlender: Generative 3D Szenen für Kontextreiche Kollaborative Räume
Einführung
Die Nutzung von generativer KI zur Erstellung von 3D-Räumen für Virtual Reality (VR) Anwendungen gewinnt zunehmend an Interesse. Aktuelle Modelle erzeugen jedoch meist künstliche Umgebungen, die für kollaborative Aufgaben, die von der Einbindung des physischen Kontexts der Benutzer profitieren, weniger geeignet sind. Um Umgebungen zu generieren, die VR-Telepräsenz unterstützen, wurde SpaceBlender eingeführt, eine neuartige Pipeline, die generative KI-Techniken verwendet, um die physischen Umgebungen der Benutzer in einheitliche virtuelle Räume zu integrieren.
Die SpaceBlender-Pipeline
SpaceBlender transformiert vom Benutzer bereitgestellte 2D-Bilder in kontextreiche 3D-Umgebungen durch einen iterativen Prozess, der Tiefenschätzung, Netzwerkausrichtung und diffusionsbasierte Raumvervollständigung umfasst, die durch geometrische Vorgaben und adaptive Text-Prompts geleitet wird. In einer ersten Studie mit 20 Teilnehmern, die eine kollaborative VR-Affinitätsdiagrammaufgabe in Paaren durchführten, wurde SpaceBlender mit einer generischen virtuellen Umgebung und einem modernen Szenengenerierungs-Framework verglichen.
Untersuchung und Ergebnisse
Teilnehmer schätzten die durch SpaceBlender bereitgestellte verbesserte Vertrautheit und den Kontext, stellten jedoch auch fest, dass die Komplexität der generativen Umgebungen die Aufgabenfokussierung beeinträchtigen könnte. Basierend auf dem Feedback der Teilnehmer schlagen die Autoren Verbesserungsrichtungen für die Pipeline vor und diskutieren den Wert und das Design von gemischten Räumen für verschiedene Szenarien.
Verwandte Arbeiten
Generierung von 3D-Szenen
Der Bereich der computergestützten Generierung von 3D-Szenen hat durch jüngste Fortschritte in generativen Methoden erheblich an Bedeutung gewonnen. Traditionelle Techniken der prozeduralen Generierung, die auf vordefinierten Regeln und Asset-Bibliotheken basieren, wurden durch neuartige generative Techniken ersetzt, die vollständig neue Räume erzeugen können. Diese Ansätze nutzen verschiedene Szenenrepräsentationen, darunter bekannte explizite Formate wie 2D-Panoramabilder und Netze sowie neuere implizite Repräsentationen wie Neural Radiance Fields (NeRFs) und 3D-Gaussian Splats.
VR-Telepräsenz
Frühere Forschungsergebnisse haben gezeigt, dass die Einbindung des vertrauten realen Kontexts der Benutzer in virtuelle Umgebungen bei entfernten Zusammenarbeitsszenarien verschiedene Vorteile bietet, wie z.B. die Unterstützung von Deixis, gegenseitigem Bewusstsein und Informationsabruf. Motiviert durch diese Erkenntnisse wird ein generativer Ansatz zur Erstellung von Räumen untersucht, indem die Umweltkontexte mehrerer Benutzer zusammengeführt werden.
Technische Herausforderungen
Die Nutzung heutiger generativer KI-Modelle zur Ergänzung der Erstellung von 3D-Umgebungen für VR-Telepräsenz stellt zwei wesentliche Herausforderungen dar. Erstens zielen die meisten Modelle darauf ab, vollständig synthetische Ausgaben zu erzeugen, die nicht in realen Räumen verankert sind. Modelle, die eine solche Verankerung versuchen, erfordern Eingaben über Text und Bild hinaus und können sich nur in einem einzigen Raum verankern. Zweitens sind die von diesen Modellen generierten 3D-Netze nicht explizit für die Verwendung als VR-Umgebungen optimiert. Diese generierten Umgebungen können grundlegende Benutzerfreundlichkeitsprobleme für VR-Telepräsenz aufwerfen, wie z.B. nicht navigierbare Wege, ablenkende visuelle und geometrische Artefakte und unheimliche Räume, die den Benutzerkomfort beeinträchtigen.
SpaceBlender-System
Um diese Herausforderungen anzugehen, wurde SpaceBlender entwickelt, eine neuartige Pipeline, die modernste generative KI-Techniken nutzt und erweitert, um die physischen Umgebungen der Benutzer in einheitliche virtuelle Räume für VR-Telepräsenz zu integrieren. Diese Pipeline transformiert vom Benutzer bereitgestellte 2D-Bilder verschiedener Räume in kontextreiche 3D-Umgebungen durch einen mehrstufigen Prozess. Zunächst werden die 2D-Bilder in 3D-Netze umgewandelt, basierend auf Tiefenschätzung, Netzausrichtung und Rückprojektion. Anschließend wird eine RANSAC-basierte Ausrichtungstechnik verwendet, um die verschiedenen 3D-Netze auszurichten und ein einheitliches Bodenniveau sicherzustellen. Schließlich wird eine diffusionsbasierte Methode zur Raumvervollständigung verwendet, die durch geometrische Vorgaben und Text-Prompts definiert wird.
Vorläufige Benutzerstudie
Als vorläufige Bewertung der Eignung von durch SpaceBlender generierten Umgebungen zur Unterstützung kollaborativer VR wurde eine vergleichende Studie mit 20 Teilnehmern durchgeführt. In Paaren führten sie eine VR-basierte Affinitätsdiagramm-Aufgabe in drei verschiedenen virtuellen Umgebungen durch: (1) Generic3D: ein generischer, low-poly Raum; (2) eine mit Text2Room generierte Umgebung; und (3) eine SpaceBlender-Umgebung, die Eingabebilder vertrauter physischer Standorte der Teilnehmer enthielt. Insgesamt erlebten die Teilnehmer in Generic3D und SpaceBlender aufgrund der größeren Konsistenz in der Raumgeometrie erhöhten physischen Komfort und bessere Navigierbarkeit im Vergleich zu Text2Room. Einige nutzten erkennbare Umweltmerkmale im SpaceBlender-Raum, um die Clusteraufgabe zu vervollständigen. Während die Teilnehmer zukünftige Anwendungsfälle sahen, in denen die Einbindung vertrauter oder persönlicher kontextueller Details von Nutzen sein könnte, empfahlen sie Verbesserungen der visuellen Qualität und des Realismus der SpaceBlender-Umgebungen, um diese Anwendungsfälle besser zu ermöglichen.
Zusammenfassung
Zusammenfassend trägt diese Arbeit bei (1) die SpaceBlender generative KI-Pipeline zur Erstellung von VR-Telepräsenzräumen durch die Integration der physischen Umgebungen der Benutzer in einheitliche 3D-Umgebungen; (2) eine vorläufige Benutzerstudie mit 20 Benutzern, die potenzielle Vorteile, Einschränkungen und Anwendungsfälle von SpaceBlender aufzeigt und die Grundlage für zukünftige generative KI-Tools zur Erstellung gemischter Umgebungen legt.
Bibliographie
- https://arxiv.org/html/2409.13926v1- https://huggingface.co/papers/2409.13926
- https://nels.dev/publication/spaceblender/
- https://github.com/agmmnn/awesome-blender
- https://koaning.github.io/arxiv-frontpage/
