Robot Utility Models: Allgemeine Richtlinien für Zero-Shot-Einsätze in neuen Umgebungen

Einleitung

In den letzten Jahren haben Roboter, insbesondere solche, die mit großen Datenmengen trainiert wurden, eine Vielzahl von Fähigkeiten zur Manipulation und Navigation in der realen Welt gezeigt. Verschiedene unabhängige Bemühungen haben gezeigt, dass Roboter, wenn sie ausreichend Trainingsdaten in einer Umgebung erhalten, ihre Richtlinien auf gezeigte Variationen in dieser Umgebung verallgemeinern können. Jedoch steht die Notwendigkeit, Roboter in jeder neuen Umgebung nachzujustieren, im krassen Gegensatz zu Modellen in der Sprach- oder Bildverarbeitung, die Zero-Shot für offene Weltprobleme eingesetzt werden können. In dieser Arbeit präsentieren wir Robot Utility Models (RUMs), ein Rahmenwerk für das Training und die Bereitstellung von Zero-Shot-Roboter-Richtlinien, die direkt auf neue Umgebungen verallgemeinern können, ohne Nachjustierung.

Robot Utility Models

Wir verfolgen einen ganzheitlichen Ansatz zur Erstellung von Robot Utility Models. Im Kern folgt unser System dem Imitationslernrahmen. Um das Imitationslernen effektiv zu skalieren, entwickeln wir neue Werkzeuge und Techniken zur Verbesserung der Datenerfassung, des Modelltrainings, der Inferenz und der Bereitstellung.

Datenerfassungstool

Eine der Hauptanforderungen unseres Systems ist es, diverse und dennoch genaue Demonstrationsdaten kostengünstig zu skalieren. Zu diesem Zweck setzen wir auf die evolutionäre Entwicklung von Handheld-Tools zur Datenerfassung.

Modelltraining

Wir trainieren Richtlinien auf diesen diversen Datensätzen mit modernsten multimodalen Verhaltenslernalgorithmen. Dies zeigt, wie sie große Mengen an Demonstrationsdaten aufnehmen und skalieren können. Schließlich setzen wir die Richtlinie in verschiedenen Umgebungen ein, mit Selbstkritik durch multimodale Sprachmodelle (mLLMs) und Wiederholungen, um die Richtlinie robust auf kostengünstiger, universeller Hardware auszuführen.

Bereitstellung

Eine Auswahl unserer trainierten Modelle ist auf dem Hello Robot Stretch ohne größere Modifikationen verfügbar. Neben der Standardbereitstellung auf Stretch ermöglichen wir auch die Bereitstellung auf anderen Robotern, Kameras und Beleuchtungsbedingungen, was die Generalisierbarkeit unseres Ansatzes zeigt.

Erkenntnisse und Ergebnisse

Die Erstellung und Bereitstellung von RUMs hat zu mehreren interessanten Erkenntnissen geführt: - Die Quantität und Qualität der Daten ist entscheidend für das Training eines Utility-Modells, während die Wahl der Modellarchitektur weniger kritisch ist. - Die Vielfalt der gesammelten Daten ist entscheidend für die Generalisierung des Modells auf neue Umgebungen und wichtiger als die rohe Datenmenge. - Das Modell kann in einzelnen Umgebungen leistungsfähiger gemacht werden, indem eine Selbstkritik der Modellleistung mit einem unabhängigen Modell durchgeführt und bei Bedarf wiederholt wird. Um RUMs zu validieren, führen wir insgesamt 2.950 Roboter-Rollouts in realen Umgebungen durch, darunter in Wohnungen in New York City (NY), Jersey City (NJ) und Pittsburgh (PA). Diese Experimente ergeben folgende Erkenntnisse: - Es ist möglich, allgemeine Robot Utility Models mit einer moderaten Menge an Daten, in der Größenordnung von 1.000 Demonstrationen, zu erstellen. Diese RUMs erreichen eine durchschnittliche Erfolgsrate von 90% bei Zero-Shot-Bereitstellungen in 25 neuen Umgebungen. - Der Erfolg von RUMs beruht hauptsächlich auf zwei Schlüsseltechniken. Erstens, die Verwendung von multimodalen Richtlinien bietet eine Zero-Shot-Erfolgsrate von 74,4%. Zweitens, das mLLM-basierte Selbstkritik- und Wiederholungssystem verbessert die Erfolgsrate um weitere 15,6%. - Während das Gesamtframework für RUMs unkompliziert ist, liegt der Teufel im Detail, wo wir unerwartete Quellen für Gewinne finden, z.B. Datenvielfalt vs. Datenmenge.

Schlussfolgerung

RUMs zeigen, dass es möglich ist, Roboter-Richtlinien zu erstellen, die in neuen Umgebungen ohne weitere Daten oder Training erfolgreich sind. Dies stellt einen bedeutenden Fortschritt dar und ebnet den Weg für die Entwicklung robuster und vielseitiger Roboteranwendungen in der realen Welt. Unsere Code-, Daten-, Modell- und Hardwaredesigns sowie unsere Experiment- und Bereitstellungsvideos sind open-source und auf unserer Website verfügbar: robotutilitymodels.com.

Bibliographie

https://arxiv.org/html/2409.05865v1 https://robotutilitymodels.com/ https://deeplearn.org/arxiv/525324/robot-utility-models:-general-policies-for-zero-shot-deployment-in-new-environments https://twitter.com/gm8xx8/status/1833339598690226615 https://arxiv-sanity-lite.com/?rank=pid&pid=2409.05865 https://synthical.com/article/Robot-Utility-Models%3A-General-Policies-for-Zero-Shot-Deployment-in-New-Environments-a7887356-6e28-479e-b8b6-5dcd7b64afd8? https://github.com/haritheja-e/robot-utility-models https://paperswithcode.com/author/julian-mehu https://arxiv.org/list/cs.RO/recent