MolmoAct2: Fortschritte in der Robotik durch offene Modelle und transparente Forschung

MolmoAct2: Ein offenes Fundament für Roboter im realen Einsatz – Förderung der Transparenz in der Robotikforschung

Die Forschung im Bereich der Robotik verzeichnet kontinuierliche Fortschritte, insbesondere bei der Entwicklung von Modellen, die eine breite Palette von Aufgaben in der physischen Welt bewältigen können. Eine aktuelle Entwicklung, die in der Fachwelt und auf Plattformen wie Hugging Face Beachtung findet, ist die Veröffentlichung von MolmoAct2 durch das Allen Institute for AI (Ai2). Dieses Modell stellt einen bedeutenden Schritt in Richtung offener und realitätsnaher Robotik dar.

Die Bedeutung von Open-Source in der Robotik

Die Debatte um die Verfügbarkeit von Forschungsdaten und -modellen gewinnt in der KI-Community zunehmend an Bedeutung. Während viele hochmoderne Modelle proprietär bleiben, setzt MolmoAct2 auf einen transparenten Ansatz, indem es seine Modellgewichte, den Trainingscode und die gesamten Trainingsdatensätze öffentlich zugänglich macht. Dieser Ansatz zielt darauf ab, die Reproduzierbarkeit zu fördern und der breiteren Forschungsgemeinschaft die Möglichkeit zu geben, auf diesen Fortschritten aufzubauen.

MolmoAct2: Architektur und Leistungsmerkmale

MolmoAct2 ist als Aktions-Reasoning-Modell konzipiert, das speziell für den Einsatz in realen Umgebungen entwickelt wurde. Es baut auf seinem Vorgänger MolmoAct auf und bietet Verbesserungen in mehreren Schlüsselbereichen:

• Stärkeres VLM-Rückgrat: MolmoAct2 integriert Molmo2-ER, ein spezialisiertes Vision-Language-Model (VLM), das für räumliches und verkörpertes Reasoning optimiert wurde. Dieses wurde auf einem 3,3 Millionen Samples umfassenden Korpus trainiert und übertrifft laut Ai2 proprietäre Modelle wie GPT-5 und Gemini Robotics ER-1.5 in verschiedenen Benchmarks für verkörpertes Reasoning.
• Neue Trainingsdaten: Das Modell wurde mit drei neuen Datensätzen trainiert, die sich über kostengünstige bis mittelteure Plattformen erstrecken:
  • MolmoAct2-BimanualYAM Dataset: Über 720 Stunden teleoperierte bimodale Trajektorien, die das bisher grösste offene bimodale Datenset darstellen.
  • MolmoAct2-DROID Dataset: Ein qualitätsgefilterter Franka-Datensatz.
  • MolmoAct2-SO100/101 Dataset: Ein qualitätsgefilterter SO-100/101-Datensatz.
• OpenFAST Tokenizer: Eine quelloffene Implementierung des FAST Tokenizers, der kontinuierliche Roboter-Trajektorien in diskrete Aktions-Tokens umwandelt und auf Millionen von Trajektorien über fünf Roboter-Embodiments hinweg trainiert wurde.
• Neu gestaltete Architektur: MolmoAct2 verwendet eine überarbeitete Architektur, die einen kontinuierlichen Flow-Matching-Aktions-Experten mittels per-Layer KV-Cache-Konditionierung in ein diskretes Token-VLM integriert.
• MolmoAct2-Think: Eine adaptive Reasoning-Variante, die Tiefen-Tokens nur für Szenenbereiche neu vorhersagt, die sich zwischen den Zeitschreiten ändern. Dies reduziert die Latenz erheblich, während die geometrische Verankerung erhalten bleibt.

Leistung und Effizienz

Die Evaluationen von MolmoAct2 umfassten sieben Simulations- und reale Benchmarks. Das Modell zeigte eine überlegene Leistung gegenüber etablierten Baselines. Insbesondere konnte MolmoAct2 seine Vorgänger und andere Modelle in Bezug auf die Erfolgsraten bei komplexen Manipulationsaufgaben übertreffen. Ein bemerkenswerter Aspekt ist die signifikante Geschwindigkeitssteigerung: MolmoAct2 ist bis zu 37-mal schneller als sein Vorgänger MolmoAct. Diese Effizienz ermöglicht es Robotern, in nahezu Echtzeit auf ihre Umgebung zu reagieren.

Der Open-Source-Ansatz: Ein Katalysator für die Forschung

Die Entscheidung, nicht nur die Modelle, sondern auch die umfassenden Datensätze und den Trainingscode offenzulegen, ist ein klares Bekenntnis zur Förderung der Forschung. Dies ermöglicht es anderen Wissenschaftlern, die Ergebnisse zu reproduzieren, die Modelle anzupassen und weiterzuentwickeln. Die Bereitstellung von Datensätzen wie dem MolmoAct2-BimanualYAM Dataset auf Plattformen wie Hugging Face ist ein Beispiel dafür, wie Transparenz und gemeinschaftliche Anstrengungen den Fortschritt in der Robotik beschleunigen können.

Ein Beispiel für diesen kollaborativen Ansatz ist die Initiative von Eric Jang, der Autoren von Robotikpapieren dazu ermutigt, ihre Evaluations-Episoden auf Hugging Face als Open-Source zu veröffentlichen. Die Veröffentlichung der Evaluierungen von MolmoAct2 durch Jiafei Duan wird in diesem Kontext als ein wichtiger Beitrag zur Förderung der Transparenz und des Austauschs in der Robotik-Community gewürdigt.

Herausforderungen und zukünftige Perspektiven

Trotz der beeindruckenden Fortschritte weist MolmoAct2 auch Bereiche auf, die weiterentwickelt werden müssen. Das Modell plant beispielsweise Aktionen in Batches und kann nicht immer in Echtzeit auf unerwartete Ereignisse reagieren. Zudem ist die Out-of-the-Box-Funktionalität auf die spezifischen Roboterplattformen beschränkt, auf denen es trainiert wurde. Diese Limitationen unterstreichen den Bedarf an weiterer Forschung und Entwicklung, um Roboter noch anpassungsfähiger und robuster für unstrukturierte Umgebungen zu machen.

Die kontinuierliche Bereitstellung von Open-Source-Ressourcen und die aktive Förderung des Datenaustauschs sind entscheidend, um diese Herausforderungen anzugehen und die Entwicklung von Robotik-KI voranzutreiben. Initiativen, die den Austausch von Daten und Evaluationsmethoden fördern, tragen massgeblich dazu bei, ein tieferes Verständnis für die Generalisierungsfähigkeit von Robotikmodellen zu gewinnen und Mustererkennung von echtem Reasoning zu unterscheiden.

Zusammenfassung

MolmoAct2 repräsentiert einen bedeutsamen Schritt in der Entwicklung von Robotik-KI, indem es leistungsstarke Aktions-Reasoning-Modelle mit einem starken Engagement für Open-Source-Prinzipien verbindet. Die Verbesserungen in Geschwindigkeit, Leistung und die Bereitstellung umfassender Datensätze bieten eine solide Grundlage für zukünftige Innovationen in der Robotik. Die fortgesetzte Zusammenarbeit und der offene Austausch innerhalb der globalen Forschungsgemeinschaft sind unerlässlich, um die Vision von robusten, intelligenten Robotern in der realen Welt zu verwirklichen.

Bibliography

- allenai/MolmoAct2-BimanualYAM-Dataset · Datasets at Hugging Face. (n.d.). Huggingface.co. Retrieved May 21, 2026, from https://huggingface.co/datasets/allenai/MolmoAct2-BimanualYAM-Dataset - allenai/MolmoAct-7B-D-0812 · Hugging Face. (n.d.). Huggingface.co. Retrieved May 21, 2026, from https://huggingface.co/allenai/MolmoAct-7B-D-0812 - allenai/17122025-med-02 · Datasets at Hugging Face. (n.d.). Huggingface.co. Retrieved May 21, 2026, from https://huggingface.co/datasets/allenai/17122025-med-02 - allenai/17122025-med-12 · Datasets at Hugging Face. (n.d.). Huggingface.co. Retrieved May 21, 2026, from https://huggingface.co/datasets/allenai/17122025-med-12 - allenai/18122025-foldclo-04 · Datasets at Hugging Face. (n.d.). Huggingface.co. Retrieved May 21, 2026, from https://huggingface.co/datasets/allenai/18122025-foldclo-04 - allenai/19012026-block-03 · Datasets at Hugging Face. (n.d.). Huggingface.co. Retrieved May 21, 2026, from https://huggingface.co/datasets/allenai/19012026-block-03 - akhaliq (AK) - Hugging Face. (n.d.). Huggingface.co. Retrieved May 21, 2026, from https://huggingface.co/akhaliq - MolmoAct 2: An open foundation for robots that work in the real world | Ai2. (n.d.). Allenai.org. Retrieved May 21, 2026, from https://allenai.org/blog/molmoact2 - MolmoAct2 Datasets - a allenai Collection. (n.d.). Huggingface.co. Retrieved May 21, 2026, from https://huggingface.co/collections/allenai/molmoact2-datasets - Paper page - MolmoAct2: Action Reasoning Models for Real-world Deployment. (n.d.). Huggingface.co. Retrieved May 21, 2026, from https://huggingface.co/papers/2605.02881