KI-gestützte Rekonstruktion menschlicher Interaktionen mit Objekten

In einer Welt, in der künstliche Intelligenz (KI) zunehmend in den verschiedensten Bereichen des Lebens Einzug hält, stellt die Rekonstruktion menschlicher Interaktionen mit Objekten aus einzelnen Bildern eine besondere Herausforderung dar. Bisherige datengetriebene Methoden stoßen hierbei an ihre Grenzen, da sie nicht über die in sorgfältig zusammengestellten 3D-Interaktionsdatensätzen vorhandenen Objekte hinaus generalisieren können. Die Erstellung großangelegter realer Datensätze, um starke Interaktions- und 3D-Form-Prioritäten zu lernen, ist aufgrund der kombinatorischen Natur menschlicher Objektinteraktionen sehr kostspielig.

Vor diesem Hintergrund stellt das Forscherteam um Xianghui Xie, Bharat Lal Bhatnagar, Jan Eric Lenssen und Gerard Pons-Moll die bahnbrechende Methode ProciGen (Procedural Interaction Generation) vor. ProciGen ist ein Verfahren zur prozeduralen Generierung von Datensätzen, die sowohl plausible Interaktionen als auch eine vielfältige Objektvariation bieten. Mit ProciGen wurden mehr als eine Million Paare von menschlichen Interaktionen mit Objekten in 3D generiert, was die Grundlage bildet, um das neuartige Modell HDM (Hierarchical Diffusion Model) zu trainieren. HDM ist ein bildkonditioniertes Diffusionsmodell, das sowohl realistische Interaktionen als auch hochgenaue menschliche und Objektformen erlernen kann, und das ganz ohne Verwendung von Vorlagen oder Templates.

Die Experimente des Teams zeigen, dass HDM, das mit ProciGen trainiert wurde, frühere Methoden, die auf Vorlagen angewiesen sind, deutlich übertrifft. Darüber hinaus zeigt sich, dass der erstellte Datensatz Methoden ermöglicht, die eine starke Generalisierungsfähigkeit auf bisher nicht gesehene Objektinstanzen haben. Die Forscher planen, ihren Code und die Daten öffentlich zugänglich zu machen, um so der wissenschaftlichen Gemeinschaft und Interessierten die Möglichkeit zu geben, auf dieser Grundlage weiterzuarbeiten und eigene Experimente durchzuführen.

Die Veröffentlichung der Methode wurde auf der renommierten Konferenz für Computer Vision und Mustererkennung (CVPR) im Jahr 2024 vorgestellt und hat bereits in den sozialen Medien erhebliches Aufsehen erregt. Mit über zehntausend Ansichten und zahlreichen Weiterleitungen und Likes zeigt sich das große Interesse an dieser innovativen Technologie.

Die ProciGen-Methode und das HDM-Modell könnten weitreichende Auswirkungen auf verschiedene Anwendungsgebiete haben, von der virtuellen Realität über medizinische Bildgebung bis hin zum automatisierten Design und der Robotik. Die Fähigkeit, menschliche Interaktionen mit Objekten in 3D aus einem einzigen RGB-Bild zu rekonstruieren, ohne auf vordefinierte Modelle angewiesen zu sein, markiert einen signifikanten Fortschritt in der Computer Vision und KI-gestützten Bildanalyse.

Die Veröffentlichung der Forschungsergebnisse auf arXiv bietet eine detaillierte Darstellung des ProciGen-Verfahrens und des HDM-Modells, einschließlich 23 Seiten und 18 Abbildungen. Interessierte können die vollständige Arbeit unter der DOI 10.48550/arXiv.2312.07063 einsehen.

Quellen:
- Xie, X., Bhatnagar, B.L., Lenssen, J.E., Pons-Moll, G. (2023). Template Free Reconstruction of Human-object Interaction with Procedural Interaction Generation. arXiv:2312.07063 [cs.CV].
- Xie, Xianghui. Twitter post. March 9, 2024. https://twitter.com/XianghuiXie/status/1766584620747813318
- Paper Reading Club. (2024). Page ID 199207. https://paperreading.club/page?id=199207