Egocentrische Sensordaten und die Herausforderung ihrer Verarbeitung

Egocentrische Daten bieten einen reichen Informationsgehalt über Objekte und Szenen, aber die Verarbeitung dieser Daten stellt eine echte Herausforderung dar. Insbesondere die Phänomene der Bewegungsunschärfe, der spärlichen Abdeckung und der Dynamik erschweren die Rekonstruktion von Szenen erheblich. Die Entwicklung neuer Methoden zur Extraktion von 3D-Objektinstanzmodellen aus egocentrischen Sensordaten ist daher ein aktuelles Forschungsthema.

Ein neues System mit der Bezeichnung EgoLifter wurde entwickelt, um Szenen, die von egocentrischen Sensoren erfasst wurden, automatisch in eine vollständige Zerlegung einzelner 3D-Objekte zu segmentieren. Diese Technologie ist speziell dafür konzipiert, die Herausforderungen, die egocentrische Videos mit sich bringen, zu bewältigen. Im Vergleich zu herkömmlichen Video Super-Resolution (VSR) Ansätzen, die sich auf Videos aus der Drittpersonenperspektive konzentrieren und oft unzureichend für die Verarbeitung von durch schnelle Ego-Bewegungen und Objektbewegungen verursachte Unschärfen sind, zeigt EgoLifter vielversprechende Ergebnisse.

Das EgoVSR-Framework wurde speziell für egocentrische Videos entwickelt. Es zielt darauf ab, die Bewegungsunschärfe in egocentrischen Videos mit einem sogenannten Dual Branch Deblur Network (DB2Net) anzugehen. Zusätzlich wurde eine Unschärfemaske eingeführt, die dem DB2Net beim Lernen hilft und zum Lokalisieren von unscharfen Bereichen in Videoframes verwendet werden kann. Ein weiteres Element des Frameworks ist das MaskNet, das dazu dient, die Maske vorherzusagen, sowie ein Mask Loss, der die Maskenschätzung optimiert. Darüber hinaus wird ein Online-Bewegungsunschärfesynthesemodell für gängige VSR-Trainingsdaten vorgeschlagen, um Bewegungsunschärfen zu simulieren, wie sie in egocentrischen Videos auftreten. Die Wirksamkeit der Methode wurde durch umfangreiche Experimente mit einem EgoVSR-Datensatz, der eine große Menge an schnellen egocentrischen Videosequenzen enthält, bestätigt.

Bewegungsunschärfe tritt auf, wenn während der Belichtungszeit der Kamera oder der Bewegung von Objekten im Sichtfeld der Kamera eine relative Bewegung stattfindet. Diese Unschärfe kann sowohl in realen als auch in computergenerierten Bildern auftreten und wird in der Computergrafik häufig simuliert, um realistischere Bilder zu erzeugen. Die Simulation von Bewegungsunschärfe erfordert, dass die Trajektorien von Kameras, Objekten und Lichtern verfolgt werden. Im Zuge dessen repräsentiert Redshift beispielsweise Kurven mithilfe einer Reihe linearer Segmente, sogenannter "Schritte". Je mehr Schritte verwendet werden, desto genauer ist die Simulation der Trajektorie – allerdings wird auch mehr Speicher benötigt.

Zur Beurteilung der Effizienz von EgoVSR und ähnlichen Systemen sind Echtzeit-Feedback-Anzeigen unerlässlich, die die Verwendung von Videospeicher für die Zwecke der Transformationsmatrizen anzeigen. Dies ist insbesondere bei Szenen mit einer Vielzahl von instanziierten Objekten relevant, da hier komplexe Bewegungen genauer mit mehr Transformationsstufen dargestellt werden können, was jedoch auch signifikante Mengen an Videospeicher beanspruchen kann.

Die Entwicklungen in der egocentrischen Datenverarbeitung und -analyse, wie EgoLifter und EgoVSR, haben potenziell weitreichende Anwendungen in verschiedenen Bereichen, einschließlich virtueller und erweiterter Realität, Robotik und persönlichen Aufnahmegeräten. Die Fähigkeit, komplexe Szenen präzise zu rekonstruieren und zu verstehen, ist dabei ein entscheidender Schritt zur Schaffung intelligenterer und reaktionsfähigerer Systeme.

Quellen:
1. Egocentric Data: What and Why. Centific. https://www.centific.com/wp-content/uploads/2023/10/Egocentric-Data-What-and-Why.pdf. Zugriff am [Datum des Zugriffs].
2. EgoVSR: Towards High-Quality Egocentric Video Super-Resolution. arXiv:2305.14708. https://arxiv.org/abs/2305.14708. Zugriff am [Datum des Zugriffs].
3. PubMed PMID: 36448973. https://pubmed.ncbi.nlm.nih.gov/36448973/. Zugriff am [Datum des Zugriffs].
4. Motion Blur. Redshift Documentation. https://help.maxon.net/r3d/softimage/en-us/Content/html/Motion%2BBlur.html. Zugriff am [Datum des Zugriffs].