Tübinger Innovation: SIGNeRF revolutioniert die Bearbeitung neuronaler Strahlungsfelder
Die Universität Tübingen hat kürzlich eine bahnbrechende Methode zur generativen Bearbeitung von Szenen in neuronalen Strahlungsfeldern, bekannt als Neural Radiance Fields (NeRF), vorgestellt. Diese Technologie, bezeichnet als SIGNeRF – Scene Integrated Generation for Neural Radiance Fields – ermöglicht es, Szenen in einer kontrollierten und schnellen Weise zu bearbeiten.
NeRF ist eine Technik, die mithilfe von tiefen neuronalen Netzen komplexe Szenen modelliert, indem sie eine kontinuierliche volumetrische Szene optimiert, die nur auf einer spärlichen Menge von Eingabebildern basiert. Das Netzwerk nimmt dabei einen einzigen kontinuierlichen 5D-Koordinatenpunkt (räumliche Position und Betrachtungsrichtung) entgegen und liefert die Volumendichte und die abhängig von der Betrachtungsrichtung emittierte Strahlung an dieser räumlichen Position zurück. Durch Abfragen dieser 5D-Koordinaten entlang der Kamerablickstrahlen und dem Einsatz klassischer Volumenrendering-Techniken können neue Ansichten synthetisiert werden. Da das Volumenrendering von Natur aus differenzierbar ist, ist die einzige Eingabe, die benötigt wird, um diese Repräsentation zu optimieren, eine Menge von Bildern mit bekannten Kamerapositionen.
Die von der Universität Tübingen vorgestellte SIGNeRF-Methode erweitert diese Technologie, indem sie eine generative Bearbeitung von NeRF-Szenen ermöglicht. Damit kann die Beleuchtung einer Szene verändert werden, ohne die zugrundeliegende Geometrie oder Textur zu beeinträchtigen. Diese Möglichkeit ist besonders wertvoll für die Bereiche der virtuellen Realität, des Films, der Spieleentwicklung und der Architekturvisualisierung, wo Anwenderinnen und Anwender oft detaillierte Kontrolle über die Beleuchtung und Erscheinung von Szenen benötigen.
Die Forschungsergebnisse, die im Rahmen der European Conference on Computer Vision (ECCV) veröffentlicht wurden, zeigen, dass SIGNeRF die Beleuchtung und den Kamerastandpunkt gleichzeitig bearbeiten kann, und das lediglich auf Basis einer Sammlung von Fotos, die in unkontrollierten Umgebungen aufgenommen wurden. Dies umfasst auch eine direkte Kontrolle über die Beleuchtung durch ein Sphärenharmonik-Modell und ein dediziertes Netzwerk zur Schattenreproduktion, was für eine hochqualitative Beleuchtung von Außenszenen entscheidend ist.
Ein wichtiger Aspekt der SIGNeRF-Methode ist die Möglichkeit, die Szene in mehrere intrinsische Komponenten zu zerlegen, einschließlich Albedo, Normalen, Schatten und Beleuchtung. Diese Zerlegung erlaubt eine direkte Manipulation der Beleuchtungsbedingungen und generiert realistische Selbstschattierungen. Die Methode wurde anhand eines neuen Benchmark-Datensatzes evaluiert, der aus mehreren Außenstandorten besteht, die jeweils aus verschiedenen Blickwinkeln und zu unterschiedlichen Zeiten fotografiert wurden.
Die SIGNeRF-Technologie bietet auch die Möglichkeit, die Szenealbedo zu bearbeiten, ohne die Beleuchtung oder Schatten zu beeinflussen. Dies eröffnet neue Wege für die postproduktive Bearbeitung und Visualisierung in verschiedenen Branchen. Darüber hinaus ermöglicht die Technologie die Bearbeitung der Schattenstärke nach dem Rendering, ohne die Beleuchtung oder Albedo zu beeinträchtigen, was mit stilbasierten Methoden wie NeRF-W nicht möglich ist.
Die von der Universität Tübingen vorgestellte SIGNeRF-Methode ist ein bedeutender Schritt vorwärts in der Welt der Bildsynthese und -bearbeitung. Sie ermöglicht es, die Grenzen der Realität zu erweitern und virtuelle Welten zu erschaffen, die bislang schwer oder gar nicht umsetzbar waren. Mit einer öffentlich zugänglichen Methodik und einem Datensatz bietet sie der Wissenschaftsgemeinschaft eine wertvolle Ressource für zukünftige Forschungen und Entwicklungen in diesem spannenden Bereich der Informatik.
