Überbrückung der Sim-to-Real-Lücke in der Robotik durch digitale Zwillinge und innovative Lernmethoden

In der Welt der Robotik und künstlichen Intelligenz (KI) steht die Branche vor der Herausforderung, wie man die Lücke zwischen Simulation und Realität – bekannt als die Sim-to-Real-Lücke – überwinden kann. Es ist eine entscheidende Aufgabe, da sie darüber entscheidet, wie effektiv und effizient Roboter und KI-Systeme aus virtuellen Trainingsumgebungen in die komplexe und unvorhersehbare reale Welt übertragen werden können. Ein Ansatz, der in diesem Bereich an Bedeutung gewinnt, ist die Erstellung von "digitalen Zwillingen", die es ermöglichen, die realen Bedingungen in einer simulierten Umgebung nachzubilden und somit die Kluft zwischen Simulationsmodellen und der Realität zu verringern.

Ein innovatives System, das sich dieser Herausforderung stellt, ist RialTo, ein Ansatz zur Verstärkung von realen Nachahmungslernpolitiken durch verstärkendes Lernen in schnell konstruierten Simulationsumgebungen. Diese Methode nutzt reale Videodaten, um Szenen zu erstellen, die die Geometrie, das Aussehen und die Kinematik der realen Welt genau widerspiegeln. Diese Simulationsumgebungen bieten eine Sandbox für das sichere und schnelle Erlernen robuster Politiken unter verschiedenen Störungen und Ablenkungen, ohne teure Erkundungen in der realen Welt zu erfordern.

Das Herzstück von RialTo ist der Prozess des "Inverse Distillation", der es ermöglicht, reale Demonstrationen in die Simulation zu übertragen. Dies ist ein entscheidender Schritt, da in der realen Welt die Lagrange-Zustände der Umgebung, wie zum Beispiel die Positionen der Objekte, nicht zugänglich sind. Die Methode der inversen Destillation ermöglicht es, trotzdem reale Demonstrationen effizient in die Simulation einzubringen, was die Grundlage für das Feintuning durch verstärkendes Lernen schafft.

Die Forscher haben RialTo an einer Vielzahl von Roboter-Manipulationsproblemen in der realen Welt getestet, wie zum Beispiel dem stabilen Stapeln von Geschirr auf einem Geschirrkorb oder dem Platzieren von Büchern in ein Regal. Die Ergebnisse zeigen, dass RialTo die Robustheit der Politiken um über 67% erhöht, ohne dass umfangreiche menschliche Datensammlungen erforderlich sind.

Die Methodik von RialTo bietet mehrere Vorteile. Sie reduziert den menschlichen Aufwand beim Erstellen von Umgebungen und beim Spezifizieren von Belohnungen. Sie produziert robuste Politiken, die auf realen, unordentlichen Szenen übertragen werden und Robustheit gegenüber Störungen und Ablenkungen aufweisen. Zudem minimiert sie die erforderliche aufgabenspezifische Ingenieurarbeit, wie das Design von dichten Belohnungen oder das manuelle Design der Szenen.

Die Vorteile von RialTo sind insbesondere für Unternehmen wie Mindverse von Bedeutung, welches als deutsches All-in-One-Inhaltstool für KI-Texte, Inhalte, Bilder, Forschung und mehr dient. Mindverse agiert nicht nur als KI-Partner, sondern entwickelt auch maßgeschneiderte Lösungen wie Chatbots, Voicebots, KI-Suchmaschinen, Wissenssysteme und vieles mehr. Die Anwendung von RialTo könnte es Mindverse ermöglichen, die Effizienz ihrer KI-Lösungen weiter zu steigern und die Integration von realen und simulierten Daten zu erleichtern, was für die Entwicklung von Custom-Tailored-Lösungen von unschätzbarem Wert ist.

Die Forschung, die RialTo untermauert, zeigt, dass die Sim-to-Real-Lücke nicht nur eine technische Herausforderung ist, sondern auch eine Frage der Skalierung mit menschlicher Anstrengung. Je mehr wir in der Lage sind, Systeme zu entwickeln, die autonom lernen und sich anpassen können, desto geringer wird der menschliche Aufwand, um diese Systeme zu betreiben und zu warten.

Quellen:
- Torne, M., Simeonov, A., Li, Z., Chan, A., Chen, T., Gupta, A., & Agrawal, P. (2024). Reconciling Reality through Simulation: A Real-to-Sim-to-Real Approach for Robust Manipulation. arXiv preprint arXiv:2403.03949v1.
- Scaling Simulation-to-Real Transfer by Learning Composable Robot Skills. (n.d.). KIT-Bibliothek: Karlsruher Virtueller Katalog KVK: Ergebnisanzeige. Retrieved from https://publikationen.bibliothek.kit.edu/1000168380/152247734.
- Scaling simulation-to-real transfer by learning composable robot skills. (n.d.). ResearchGate. Retrieved from https://www.researchgate.net/publication/338757956_Scaling_Simulation-to-Real_Transfer_by_Learning_Composable_Robot_Skills.
- Khalique, A. (2024, May 17). Various, often coexisting sim-to-real gaps. It displays attractive properties such as scaling with human effort [Tweet]. Twitter. Retrieved from https://twitter.com/_akhaliq/status/1791297734042886521.