Fortschritte im Robot Learning durch heterogene vortrainierte Transformer Modelle

Die rasante Entwicklung der Künstlichen Intelligenz (KI) hat in den letzten Jahren beeindruckende Fortschritte in der Robotik erzielt. Ein zentrales Forschungsfeld ist dabei das sogenannte "Robot Learning", bei dem Roboter durch Interaktion mit ihrer Umgebung lernen, komplexe Aufgaben zu bewältigen. Eine der größten Herausforderungen in diesem Bereich ist die Heterogenität von Robotersystemen und -aufgaben. Herkömmliche Lernmethoden erfordern oft die Erfassung großer Datensätze für jede spezifische Kombination aus Roboterkörper und Aufgabe, was zeitaufwendig und fehleranfällig ist. Ein vielversprechender Ansatz zur Überwindung dieser Herausforderung ist die Nutzung von vortrainierten Transformer-Modellen, die bereits über ein breites Spektrum an Daten gelernt haben, allgemeine Muster und Zusammenhänge zu erkennen. Diese Modelle können dann auf spezifische Roboteraufgaben angepasst werden, wodurch der Bedarf an umfangreichen Trainingsdaten reduziert wird. In diesem Kontext hat eine neue Forschungsarbeit mit dem Titel "Scaling Proprioceptive-Visual Learning with Heterogeneous Pre-trained Transformers" für Aufsehen gesorgt. Die Arbeit befasst sich mit der Skalierung propriozeptiv-visuellen Lernens mithilfe heterogener, vortrainierter Transformer. Die Autoren schlagen ein neuartiges Modell namens "Heterogeneous Pre-trained Transformers" (HPT) vor, das darauf abzielt, Richtlinienrepräsentationen durch heterogenes Vortraining auf Roboterdaten zu lernen, die verschiedene Ausführungsformen und Aufgaben umfassen. HPTs zeichnen sich durch eine gemeinsame Grundstruktur aus, die spezifische propriozeptive und visuelle Eingaben aus unterschiedlichen Ausführungsformen auf eine kurze Folge von Token ausrichtet. Diese Token werden anschließend verarbeitet, um Steuersignale für Roboter zu erzeugen, die verschiedene Aufgaben ausführen. Durch die Nutzung großer, öffentlich zugänglicher Datensätze mit realen Roboterdaten sowie Simulationen, Daten von realen Robotern und menschlichen Videodatensätzen konnten die Forscher die Effektivität von HPTs im Vergleich zu anderen Ansätzen demonstrieren. Die Ergebnisse der Experimente zeigen, dass HPTs in der Lage sind, die Leistung von trainierten Richtlinien in verschiedenen Simulationsumgebungen und realen Szenarien deutlich zu verbessern. Insbesondere bei Aufgaben, die nicht Teil des Trainingsdatensatzes waren, konnten HPTs eine Leistungssteigerung von über 20 % erzielen. Dies deutet darauf hin, dass HPTs in der Lage sind, allgemeine und übertragbare Repräsentationen zu lernen, die auf neue Aufgaben und Umgebungen angewendet werden können. Die Arbeit leistet einen wichtigen Beitrag zum Bereich des Robot Learning und ebnet den Weg für die Entwicklung robusterer und anpassungsfähigerer Robotersysteme. Die Skalierbarkeit von HPTs und ihre Fähigkeit, aus heterogenen Daten zu lernen, eröffnen vielversprechende Möglichkeiten für die Zukunft der Robotik. ## Bibliographie - https://liruiw.github.io/ - https://arxiv.org/html/2406.13640v1 - https://arxiv-sanity-lite.com/ - https://mobile-aloha.github.io/resources/mobile-aloha.pdf - https://github.com/HCPLab-SYSU/Embodied_AI_Paper_List - https://roboticsproceedings.org/rss20/p127.pdf - https://github.com/zhuhu00/Paper-Daily-Notice/issues/215 - https://ras.papercept.net/conferences/conferences/ICRA24/program/ICRA24_ContentListWeb_1.html - https://arxiv.org/html/2203.01311 - https://journals.sagepub.com/doi/10.1177/02783649241238765?icid=int.sj-abstract.citing-articles.18