FAU Erlangen-Nürnberg präsentiert Durchbruch im Echtzeit-Rendering von Strahlungsfeldern mit TRIPS-Technologie
Die Friedrich-Alexander-Universität Erlangen-Nürnberg (FAU) hat eine neue Technologie im Bereich des Rendering von Strahlungsfeldern vorgestellt, die vielversprechende Ergebnisse für die Echtzeit-Darstellung komplexer Szenen zeigt. Die Methode, bekannt als Trilineares Punkt Splatting (TRIPS), verspricht, die Qualität der Darstellung zu verbessern und gleichzeitig hohe Bildwiederholraten zu ermöglichen.
Die Darstellung von Strahlungsfeldern, auch bekannt als Radiance Field Rendering, ist eine Technik, die es ermöglicht, dreidimensionale Szenen aus einer Reihe von zweidimensionalen Bildern zu rekonstruieren. Dies ist besonders in Bereichen wie der virtuellen Realität, dem Film und der Spieleentwicklung von Bedeutung. Durch die Kombination verschiedener Techniken ist es möglich, Bilder aus neuen Perspektiven zu generieren, ohne dass die Szenen vollständig in 3D modelliert werden müssen.
Bisherige Ansätze im Bereich des Radiance Field Rendering, wie etwa 3D-Gaussian-Splatting und ADOP, hatten jeweils ihre eigenen Stärken und Schwächen. 3D-Gaussian-Splatting, präsentiert auf der SIGGRAPH 2023, bot zwar eine schnelle Darstellung, hatte aber Probleme mit der Detailtreue und neigte dazu, Artefakte wie Unschärfen und wolkige Erscheinungen zu produzieren. Im Gegensatz dazu ermöglichte ADOP schärfere Bilder, litt jedoch unter einer verringerten Leistung aufgrund des Einsatzes neuronaler Netzwerke und hatte Schwierigkeiten mit zeitlicher Instabilität und dem Umgang mit großen Lücken in der Punktwolke.
TRIPS ist das Ergebnis einer Kombination von Ideen aus beiden vorherigen Methoden. Das Konzept hinter TRIPS beinhaltet das Rastern von Punkten in eine Bildpyramide im Bildschirmraum. Die Auswahl der Pyramiden-Ebene wird durch die projizierte Punktgröße bestimmt. Diese Methode ermöglicht es, beliebig große Punkte mit einem einzigen trilinearen Schreibvorgang zu rendern. Ein leichtgewichtiges neuronales Netzwerk wird dann verwendet, um ein lochfreies Bild inklusive Details zu rekonstruieren, die über die Auflösung der Splatting-Punkte hinausgehen.
Ein wichtiger Aspekt der TRIPS-Renderpipeline ist, dass sie vollständig differenzierbar ist, was die automatische Optimierung sowohl der Punktgrößen als auch der Positionen ermöglicht. Die Evaluierung zeigt, dass TRIPS bestehende Methoden in Bezug auf die Darstellungsqualität übertrifft und gleichzeitig eine Echtzeit-Bildwiederholrate von 60 Bildern pro Sekunde auf gängiger Hardware beibehält. Diese Leistung erstreckt sich auch auf herausfordernde Szenarien wie Szenen mit komplexer Geometrie, weitläufigen Landschaften und automatisch belichteten Aufnahmen.
Die Forschung wurde durch den ERC Advanced Grant FUNGRAPH Nr. 788065 finanziert. Die Autoren danken Adobe für großzügige Spenden, die OPAL-Infrastruktur der Université Côte d'Azur sowie die HPC-Ressourcen von GENCI–IDRIS (Grant 2022-AD011013409). Das Feedback der anonymen Gutachter sowie die Unterstützung durch P. Hedman und A. Tewari bei der Korrektur früherer Entwürfe waren ebenfalls von unschätzbarem Wert.
Die FAU Erlangen-Nürnberg zeigt mit TRIPS erneut, dass sie an der Spitze der Forschung im Bereich der Computergrafik steht. Die Entwicklungen aus dieser Forschung könnten weitreichende Auswirkungen auf eine Vielzahl von Branchen haben, in denen realistische 3D-Renderings und Bildsynthesen in Echtzeit erforderlich sind.
