Skalierbare Robotersimulationen mit GenSim2: Automatisierte Datengenerierung und verbesserte Transferfähigkeit

Die Skalierung von Robotersimulationen stellt aufgrund des hohen manuellen Aufwands für die Erstellung vielfältiger Simulationsaufgaben und -szenen eine Herausforderung dar. Auch simulationsgestützte Verfahren zur Übertragung von Simulationsmodellen in die reale Welt (Sim-to-Real) stoßen auf Skalierbarkeitsprobleme, da viele Ansätze sich auf eine einzelne Aufgabe konzentrieren. Um diesen Herausforderungen zu begegnen, wurde GenSim2 entwickelt. Dieses skalierbare Framework nutzt die Möglichkeiten von großen Sprachmodellen (LLMs) mit multimodalen und logischen Fähigkeiten, um komplexe und realistische Simulationsaufgaben zu erstellen, darunter auch solche mit mehreren Schritten und gelenkigen Objekten. GenSim2 ermöglicht die automatisierte Generierung von Demonstrationsdaten für diese Aufgaben in großem Maßstab. Mithilfe von Planungs- und RL-Algorithmen, die innerhalb von Objektkategorien verallgemeinern, kann die Pipeline Daten für bis zu 100 Aufgaben mit 200 Objekten generieren und so den menschlichen Aufwand reduzieren. Um diese Daten effektiv zu nutzen, wurde eine Multitasking-fähige, sprachgesteuerte Architektur namens "Propriozeptive Punktwolken-Transformer" (PPT) entwickelt. PPT lernt aus den generierten Demonstrationen und zeigt eine starke Sim-to-Real Zero-Shot-Transferfähigkeit. Die Kombination aus Datenpipeline und PPT-Architektur ermöglicht vielversprechende Anwendungsmöglichkeiten von GenSim2. So können die generierten Daten für den Zero-Shot-Transfer oder für das gemeinsame Training mit realen Daten genutzt werden, was die Leistung der Verfahren im Vergleich zum Training ausschließlich mit begrenzten realen Daten um bis zu 20% verbessert. Die Vorteile von GenSim2 im Überblick: - Skalierbare Generierung von komplexen und realistischen Simulationsaufgaben mithilfe von LLMs - Automatische Erstellung von Demonstrationsdaten für eine Vielzahl von Aufgaben - Reduzierter Aufwand für die manuelle Erstellung von Simulationsumgebungen - Effektive Multitasking-fähige, sprachgesteuerte Architektur für die Nutzung der generierten Daten - Starke Sim-to-Real Zero-Shot-Transferfähigkeit - Verbesserung der Leistung von Verfahren durch Kombination von Simulations- und Real-World-Daten GenSim2 stellt einen wichtigen Schritt in Richtung einer effizienten und skalierbaren Robotersimulation dar und eröffnet neue Möglichkeiten für die Entwicklung und das Training von Robotersystemen. Bibliography https://openreview.net/forum?id=5u9l6U61S7 https://gensim2.github.io/ https://openreview.net/pdf/5c2dc5c1266bdc9262cc4a9cc32f0957ff813011.pdf https://paperreading.club/page?id=256690 https://twitter.com/gm8xx8/status/1843148196542927174 https://liruiw.github.io/ https://arxiv-sanity-lite.com/ https://github.com/GT-RIPL/Awesome-LLM-Robotics https://arxiv.org/abs/2408.14368 https://events.infovaya.com/uploads/documents/pdfviewer/85/c7/131266-3286.pdf