Fortschritte in der 3D Wahrnehmung durch multimodale Modelle

Große multimodale Modelle (LMMs) haben in den letzten Jahren beeindruckende Fortschritte im Bereich des zweidimensionalen visuellen Verständnisses gemacht. Sie sind nun in der Lage, Bilder und Videos effektiv zu verarbeiten und zu verstehen. Die Entwicklung von LMMs mit 3D-Wahrnehmung für das Verständnis von 3D-Szenen wurde jedoch durch das Fehlen großer 3D-Vision-Language-Datensätze und leistungsstarker 3D-Encoder behindert. Ein kürzlich veröffentlichtes Paper mit dem Titel „LLaVA-3D: A Simple yet Effective Pathway to Empowering LMMs with 3D-awareness“ stellt ein neues Framework vor, das darauf abzielt, diese Einschränkungen zu überwinden. LLaVA-3D nutzt die bereits vorhandenen Stärken von LLaVA, einem fortschrittlichen LMM für 2D-Bilderkennung, und erweitert es effizient um 3D-Szenenverständnis, ohne die 2D-Fähigkeiten zu beeinträchtigen. Der Schlüssel zu diesem Ansatz liegt in der Verwendung von "3D Patches". Diese Patches verbinden die 2D-Bildinformationen, die LLaVA bereits kennt, mit ihren entsprechenden Positionen im 3D-Raum. Durch die Integration dieser 3D-Patches in das bestehende 2D-Modell und die gemeinsame Abstimmung von 2D- und 3D-Vision-Language-Daten entsteht eine vereinheitlichte Architektur, die sowohl 2D-Bildverständnis als auch 3D-Szenenverständnis ermöglicht. Erste Ergebnisse zeigen, dass LLaVA-3D im Vergleich zu anderen 3D-LMMs deutlich schneller konvergiert, wenn es mit 3D-Vision-Language-Datensätzen trainiert wird. Darüber hinaus erreicht LLaVA-3D nicht nur in verschiedenen 3D-Aufgaben eine hohe Leistung, sondern behält auch die vergleichbaren Fähigkeiten von LLaVA in Bezug auf 2D-Bildverständnis und Vision-Language-Konversation bei. Die Entwicklung von LLaVA-3D stellt einen wichtigen Schritt in Richtung leistungsstarker und vielseitiger LMMs dar, die in der Lage sind, sowohl die 2D- als auch die 3D-Welt zu verstehen. Mit der steigenden Verfügbarkeit von 3D-Daten und der Weiterentwicklung von 3D-Encodings verspricht LLaVA-3D, eine Schlüsselrolle bei der Gestaltung der Zukunft von LMMs und deren Anwendungen in Bereichen wie Robotik, Augmented Reality und autonomem Fahren zu spielen. Chenming Zhu, Tai Wang, Wenwei Zhang, Jiangmiao Pang, Xihui Liu. (2024) LLaVA-3D: A Simple yet Effective Pathway to Empowering LMMs with 3D-awareness. *arXiv preprint arXiv:2409.18125*. Xianzheng Ma, Yash Bhalgat, Brandon Smart, Shuai Chen, Xinghui Li, Jian Ding, Jindong Gu, Dave Zhenyu Chen, Songyou Peng, Jia-Wang Bian, Philip H Torr, Marc Pollefeys, Matthias Nießner, Ian D Reid, Angel X. Chang, Iro Laina, Victor Adrian Prisacariu. (2024) When LLMs step into the 3D World: A Survey and Meta-Analysis of 3D Tasks via Multi-modal Large Language Models. *arXiv preprint arXiv:2405.10255*.