Innovative Ansätze zur Robotikplanung durch multimodale KI-Methoden

Einblicke in die Zukunft der Robotik: Hugging Faces LeRobot-Team präsentiert innovative Ansätze zur Roboterplanung

Das Team von LeRobot bei Hugging Face hat kürzlich durch ein von Jong Hyun Park erstelltes Video auf sich aufmerksam gemacht, das tiefgehende Einblicke in ihre Forschungs- und Entwicklungsarbeit im Bereich der Robotik bietet. Die Präsentation beleuchtet insbesondere innovative Methoden zur Verbesserung der Roboterplanung durch den Einsatz von künstlicher Intelligenz. Im Fokus steht die Entwicklung von Systemen, die in der Lage sind, komplexe Aufgaben in dynamischen Umgebungen präziser und flexibler auszuführen.

Die Herausforderung der Generalisierung in der Robotik

Traditionelle Ansätze in der Robotik, wie Reinforcement Learning (RL) und Behavior Cloning (BC), haben in spezifischen Anwendungsbereichen Erfolge erzielt. Jedoch stehen diese Methoden vor erheblichen Herausforderungen, wenn es um die Generalisierung auf neue, unerwartete Umgebungen oder Aufgaben geht. RL erfordert oft eine immense Anzahl von Trainingsversuchen und das manuelle Design von Belohnungsfunktionen, was in realen Szenarien oft unpraktikabel ist. Behavior Cloning, obwohl effektiver bei der Nutzung von Überwachungssignalen, ist typischerweise auf einzelne Aufgaben beschränkt und scheitert bei geringsten Änderungen in der Umgebung.

Selbst fortgeschrittene Ansätze wie Roboter-Foundation-Modelle, die auf riesigen Datensätzen trainiert werden, zeigen in der Praxis oft Schwierigkeiten bei der Anpassung an neue Umgebungen. Ein Experiment des LeRobot-Teams demonstrierte, dass ein solches Modell, selbst wenn es auf eine spezifische Roboterplattform trainiert wurde, im Zero-Shot-Modus in einer leicht veränderten Umgebung versagt. Eine Feinabstimmung mit 50 Demonstrationen verbesserte die Leistung zwar, war aber immer noch langsam und nicht vollständig erfolgreich.

Visuelle generative Modelle als Lösungsansatz

Angesichts dieser Generalisierungsprobleme wendet sich die Forschung zunehmend visuellen generativen Modellen zu. Diese Modelle, insbesondere Video-Diffusionsmodelle, haben in der Bild- und Videogenerierung erhebliche Fortschritte gemacht und zeigen eine bemerkenswerte Fähigkeit zur Generalisierung über verschiedene Szenarien hinweg. Die Hypothese lautet, dass diese Modelle auch für die Roboterplanung genutzt werden könnten, um flexiblere und anpassungsfähigere Aktionspläne zu erstellen.

Ein zentrales Problem bestehender sprachgesteuerter Video-generativer Modelle ist jedoch ihre Schwierigkeit, komplexe Sprachbefehle, insbesondere solche, die räumliche Überlegungen und Beziehungen beinhalten, korrekt zu interpretieren. Beispiele hierfür sind Anweisungen wie "Falte das Tuch von unten nach oben" oder "Platziere den blauen Quader in die obere linke Ecke des Tisches". Diese Modelle interpretieren solche Anweisungen oft falsch oder führen die Aufgaben in der falschen Richtung aus.

Einführung der Language-Gesture Conditioning

Um diese Einschränkung zu überwinden, hat das LeRobot-Team eine neue Methode namens "Language-Gesture Conditioning" entwickelt. Dieser Ansatz kombiniert Sprachbefehle mit gestenbasierten Eingaben, die durch das Klicken auf bestimmte Punkte in einer Szene bereitgestellt werden. Das Ziel ist es, die menschliche Kommunikation nachzuahmen, bei der oft Worte und Gesten kombiniert werden, um räumliche Anweisungen zu vermitteln.

Diese Methode verwendet ein feinabgestimmtes Stable Diffusion Video-Modell, das auf einem Datensatz von 14.000 Videos trainiert wurde. Die Klickpositionen werden während des Trainings automatisch aus Roboter-Metadaten (z.B. Greiferpositionen) extrahiert. Durch die Kombination von Sprache und Gesten können Anweisungen wie "Bewege dies dorthin" präziser interpretiert werden, was zu qualitativ hochwertigeren und robusteren Aktionsplänen führt. Eine Benutzerstudie bestätigte, dass die Full-Methode (Sprache und Geste) eine deutlich höhere Übereinstimmung mit den Benutzerabsichten zeigte als sprachbasierte oder gestenbasierte Ansätze allein.

Von Videoplänen zu Roboteraktionen

Die generierten Videopläne müssen anschließend in konkrete Roboteraktionen umgesetzt werden. Das LeRobot-Team modifizierte hierfür die "Action Chunking Transformers" (ACT), eine Methode des Behavior Cloning, um die generierten Videos als Referenz zu nutzen. Die Architektur wurde so angepasst, dass sie Videobilder in niedrigdimensionale Merkmale umwandelt und diese über einen Transformer-Encoder verarbeitet. Dies ermöglicht es dem Roboter, flexibel auf den gesamten Videoplan zu referenzieren und die notwendigen Bewegungen auszuführen.

Vergleiche in Simulationsumgebungen zeigten, dass dieser Ansatz herkömmliche sprachbasierte Video-generative Modelle und andere State-of-the-Art-Methoden, wie ABDC und Suzie, in Bezug auf die Erfolgsrate bei der Ausführung komplexer Aufgaben übertraf. Insbesondere wurde deutlich, dass die Bereitstellung eines vollständigen Videosequenzplans – im Gegensatz zu nur einem Endziel – für die detaillierte Manipulation entscheidend ist.

Zukünftige Perspektiven und Herausforderungen

Die aktuellen Forschungsergebnisse von LeRobot eröffnen neue Möglichkeiten für die Entwicklung generalisierbarer Roboterplanungssysteme. Die Nutzung von internetweiten Daten und die Feinabstimmung von Video-Diffusionsmodellen könnten einen Rahmen für die Nutzung verschiedenster Roboter-Demos und Online-Videos als Trainingsmaterial schaffen.

Zukünftige Arbeiten konzentrieren sich auf:

• Reale Roboter-Demos: Die Anwendung des Systems auf reale Roboter, insbesondere solche mit gängigeren Armen wie Panda, um die Praxistauglichkeit zu beweisen.
• Natürlichere Interaktion: Der Ersatz von Mausklicks durch natürlichere Zeigegesten, um die Mensch-Roboter-Interaktion intuitiver zu gestalten.
• Leistungsfähigere Modelle: Die Integration noch leistungsfähigerer Video-Modelle, die kontinuierlich entwickelt werden.
• Komplexere Aufgaben: Die Erweiterung der Fähigkeiten auf anspruchsvollere Manipulationsaufgaben, die über einfache Pick-and-Place-Szenarien hinausgehen, wie das Manipulieren von Kabeln oder das Ausführen von Kochprozessen, die mehrere Schritte umfassen.

Diese Entwicklungen sind ein wichtiger Schritt auf dem Weg zu Robotersystemen, die nicht nur in kontrollierten Umgebungen, sondern auch in der komplexen und unvorhersehbaren realen Welt effektiv agieren können.

Bibliographie

• Hugging Face. (2024, September 9). This&That: Lerobot Tech Talk #7 by Jeong Joon Park. YouTube. Abgerufen von https://www.youtube.com/watch?v=rcYyhJgG5Ds
• Hugging Face. (o. J.). LeRobot Tech Talks. YouTube. Abgerufen von https://www.youtube.com/playlist?list=PLo2EIpI_JMQtIjHHOOmdSCpvdn55--7gS
• Hugging Face. (o. J.). LeRobot Tutorials. YouTube. Abgerufen von https://www.youtube.com/playlist?list=PLo2EIpI_JMQu5zrDHe4NchRyumF2ynaUN
• Humanoid Robots Guide To The Galaxy. (2026, April 24). LeRobot by HuggingFace. YouTube. Abgerufen von https://www.youtube.com/watch?v=K96hm5UjZhw
• imstevenpmwork. (2026, März 11). Data recording takes very long (30-40s processing per 15s episode) · Issue #1434 · huggingface/lerobot. GitHub. Abgerufen von https://github.com/huggingface/lerobot/issues/1434
• 임성민 - 개발자 Blog. (2025, September 20). LeRobot - Visualize Datasets. Abgerufen von https://hcooch2ch3.github.io/post/LeRobot-Visualize_Datasets
• Jong Hyun Park. (2016, Mai 17). Jong Hyun Park. Abgerufen von https://sudormrf.run/jong-hyun-park/
• s1lent4gnt. (2026, März 3). RL Stack Refactoring: Call for Contributions · Issue #3076 · huggingface/lerobot. GitHub. Abgerufen von https://github.com/huggingface/lerobot/issues/3076
• TILNOTE. (2026, Februar 7). LeRobot 코드베이스 핵심 정리 (v0.4.4). Abgerufen von https://tilnote.io/pages/6986b09e625c9559a1dd4f15
• 文火冰糖的硅基工坊. (2026, April 13). [具身智能-363]：Hugging Face LeRobot 详解：像训练语言模型一样训练机器人_语言模型_文火冰糖的硅基工坊-DAMO开发者矩阵. DAMO开发者矩阵. Abgerufen von https://damodev.csdn.net/69dd03fa54b52172bc694e9d.html