Die Robotik hat in den letzten Jahren bemerkenswerte Fortschritte erzielt, doch die zuverlässige Manipulation von Objekten in unstrukturierten Umgebungen stellt nach wie vor eine große Herausforderung dar. Ein vielversprechender Ansatz zur Bewältigung dieser Herausforderung ist die Einbeziehung von Vision-Language-Modellen (VLMs) in Robotersysteme. VLMs können sowohl visuelle als auch sprachliche Informationen verarbeiten und so ein tieferes Verständnis von Aufgaben und ihrer Umgebung erlangen. Ein neuer Beitrag auf diesem Gebiet ist UniAff, ein auf VLMs basierendes System, das eine einheitliche Darstellung von Affordanzen für die Verwendung von Werkzeugen und die Artikulation von Objekten bietet. Affordanzen beschreiben in diesem Kontext die Handlungsmöglichkeiten, die ein Objekt bietet, beispielsweise ob es gegriffen, gedreht oder gedrückt werden kann.

Herausforderungen der Robotermanipulation

Bisherige Ansätze in der Robotermanipulation basierten oft auf einem begrenzten Verständnis der zugrunde liegenden 3D-Bewegungseinschränkungen und Affordanzen. Dies führte zu Systemen, die nur in der Lage waren, eine begrenzte Anzahl von vordefinierten Aufgaben auszuführen und Schwierigkeiten hatten, sich an neue Objekte oder Umgebungen anzupassen. UniAff adressiert diese Herausforderungen, indem es 3D-objektorientierte Manipulation und Aufgabenverständnis in einer einheitlichen Formulierung integriert. Im Kern steht die Idee, VLMs zu nutzen, um ein umfassenderes Verständnis der Beziehung zwischen Objekten, Werkzeugen und den damit möglichen Handlungen zu erlernen.

Der UniAff-Ansatz

Um VLMs für die Manipulation zu trainieren, wurde ein umfangreicher Datensatz erstellt, der 900 artikulierte Objekte aus 19 Kategorien und 600 Werkzeuge aus 12 Kategorien umfasst. Dieser Datensatz ist mit wichtigen manipulationsbezogenen Attributen versehen, wie z. B. 3D-Modellen, Gelenkstrukturen und möglichen Bewegungsumfängen. UniAff nutzt diesen Datensatz, um VLMs darauf zu trainieren, objektbezogene Repräsentationen für Manipulationsaufgaben zu erstellen. Diese Repräsentationen ermöglichen es dem System, Affordanzen zu erkennen, über 3D-Bewegungseinschränkungen nachzudenken und komplexe Manipulationspläne zu erstellen.

Vorteile und Potenziale

UniAff bietet gegenüber bisherigen Ansätzen mehrere Vorteile: - **Generalisierung:** Durch das Erlernen von Affordanzen und Bewegungseinschränkungen aus Daten kann UniAff besser mit neuen Objekten und Werkzeugen umgehen, selbst wenn diese in der Trainingsphase nicht explizit gezeigt wurden. - **Flexibilität:** Die Verwendung von VLMs ermöglicht es dem System, komplexe Manipulationspläne zu erstellen, die mehrere Schritte und die Verwendung verschiedener Werkzeuge umfassen können. - **Skalierbarkeit:** Durch die Erweiterung des Datensatzes mit neuen Objekten, Werkzeugen und Aufgaben kann UniAff kontinuierlich verbessert und an neue Herausforderungen angepasst werden.

Zukünftige Forschung und Anwendungen

UniAff stellt einen wichtigen Schritt in Richtung flexibler und leistungsfähigerer Robotersysteme dar. Zukünftige Forschungsarbeiten könnten sich auf die Integration von UniAff in reale Robotersysteme, die Erweiterung des Datensatzes um komplexere Szenarien und die Erforschung neuer Anwendungen in Bereichen wie der Haushaltsrobotik, der industriellen Automatisierung und der Gesundheitsversorgung konzentrieren.

Bibliographie

http://arxiv.org/pdf/2409.20551 https://www.youtube.com/watch?v=hTa9DxWcRek https://arxiv.org/abs/2206.08916 https://openreview.net/forum?id=lyhS75loxe&referrer=%5Bthe%20profile%20of%20Hongsheng%20Li%5D(%2Fprofile%3Fid%3D~Hongsheng_Li3) https://openaccess.thecvf.com/content/CVPR2024W/OpenSUN3D/papers/Qian_AffordanceLLM_Grounding_Affordance_from_Vision_Language_Models_CVPRW_2024_paper.pdf https://robo-affordances.github.io/resources/vrb_paper.pdf https://aclanthology.org/2023.emnlp-main.629.pdf https://www.aimodels.fyi/papers/arxiv/robopoint-vision-language-model-spatial-affordance-prediction