Einführung in OmniNOCS: Ein Neues 3D-Datensatz für Normalisierte Objektkoordinaten

Einleitung

Die Vorhersage der 6-Grad-Freiheit (6DoF) Pose und Form von Objekten aus Bildern ist ein entscheidendes Problem im Bereich des 3D-Szenenverständnisses. Roboter müssen die Position, Form und Orientierung verschiedener Objekte verstehen, um diese greifen und mit ihnen interagieren zu können. Selbstfahrende Fahrzeuge müssen die Position und Richtung von Fahrzeugen, Fußgängern und anderen Objekten auf der Straße verstehen, um deren zukünftiges Verhalten vorherzusagen. Auch in AR/VR-Anwendungen ist dies wichtig, da Nutzer so auf sinnvolle Weise mit Objekten interagieren können. Die Vorhersage der Objektform und -pose aus monokularen Bildern ist auch eine Voraussetzung, um panoptische 3D-Neuralszenengraphen zu initialisieren und Methoden zu ermöglichen, die Objekte in Videos verfolgen. Die meisten dieser Anwendungen erfordern Ansätze, die sich auf eine breite Palette von Objektklassen, Umgebungen und Kameramodellen verallgemeinern lassen.

Hintergrund und Probleme der aktuellen Ansätze

Das Problem der Lokalisierung von 3D-Objekten wurde umfassend durch die Brille der monokularen 3D-Objekterkennung oder der 6DoF-Pose-Schätzung untersucht. Der am häufigsten verwendete Ansatz ist, Objekte als 3D-Kuboid zu repräsentieren und ein Modell zu trainieren, das die Kuboidparameter aus einer 2D-RoI des Objekts ableitet. Eine alternative Methode besteht darin, entsprechende 3D-Punkte in einem Objektkoordinatenraum vorherzusagen, gefolgt von einer Pose-Schätzung mittels 3D-2D-Ausrichtung. Allerdings sind alle diese Methoden auf schmale Datensätze beschränkt, die mit einer einzigen Kamera und in einem einzigen Kontext gesammelt wurden, mit typischerweise sehr wenigen Objektklassen.

OmniNOCS: Ein neuer, groß angelegter Datensatz

OmniNOCS ist ein groß angelegter monokularer Datensatz mit 3D Normalized Object Coordinate Space (NOCS) Karten, Objektmasken und 3D-Grenzrahmen-Anmerkungen für Innen- und Außenszenen. OmniNOCS enthält 20-mal mehr Objektklassen und 200-mal mehr Instanzen als bestehende NOCS-Datensätze wie NOCS-Real275 und Wild6D. Der Datensatz umfasst NOCS-Anmerkungen, Instanzsegmentierung und kanonisch orientierte Begrenzungsrahmen für 97 Objektklassen, die 380.000 Bilder aus 10 verschiedenen Datenquellen enthalten und ihn damit zum größten und vielfältigsten NOCS-Datensatz machen.

Der NOCSformer-Modell

Mit OmniNOCS wurde auch ein neues Modell eingeführt, das sogenannte "NOCSformer". NOCSformer ist ein transformerbasiertes Modell, das NOCS-Koordinaten und orientierte 3D-Grenzrahmen aus monokularen Bildern und 2D-Detektionen für alle Klassen in OmniNOCS vorhersagt. NOCSformer nutzt große, selbstüberwachte vortrainierte ViTs. Es werden keine klassenspezifischen Köpfe oder Parameter verwendet, was es ermöglicht, auf große Vokabulare zu skalieren und Informationen über semantisch ähnliche Objektklassen hinweg zu teilen. NOCSformer sagt neben den NOCS-Vorhersagen auch die 3D-Größe des Objekts und die 3D-Orientierung mithilfe eines gelernten PnP-Kopfes voraus. Dies ermöglicht es NOCSformer, 3D-orientierte Begrenzungsrahmen und Objektpunktwolken im metrischen Maßstab für verschiedene Objektkategorien vorherzusagen.

Experimente und Ergebnisse

In Experimenten wurde die Qualität der von NOCSformer vorhergesagten NOCS und Begrenzungsrahmen im Vergleich zu bestehenden NOCS-Vorhersage- oder 3D-Erkennungsmodellen bewertet. Es wurde festgestellt, dass das Training auf OmniNOCS es NOCSformer ermöglicht, auf bisher ungesehene Datensätze zu verallgemeinern und sogar Baselines zu übertreffen, die auf dem Zieldatensatz trainiert wurden, in Bezug auf die Genauigkeit der NOCS-Vorhersage.

Schlussfolgerung

Zusammenfassend sind die Hauptbeiträge von OmniNOCS: - OmniNOCS-Datensatz: Ein neuer Datensatz, der Normalized Object Coordinates für 380.000 Bilder in 97 Kategorien enthält, was eine Größenordnung größer ist als bestehende NOCS-Datensätze. - NOCSformer: Eine neuartige, transformerbasierte Architektur zur Vorhersage von Objekt-NOCS, Masken und Größen aus Eingabe-2D-Boxen, die selbstüberwachte ViT-Backbones verwendet. NOCSformer ist das erste NOCS-Modell, das auf Vokabulare mit mehr als 90 Klassen und auf ungesehene Datensätze verallgemeinert, einschließlich Bildern aus Internet-Sammlungen. - OmniNOCS-Benchmark: Ein Bewertungsrahmen mit Metriken zum direkten Vergleich verschiedener NOCS-Vorhersagealgorithmen auf OmniNOCS, mit Baselines, die durch NOCSformer etabliert wurden.

Quellenangaben

https://arxiv.org/html/2407.08711v1 https://arxiv.org/abs/1901.02970 https://github.com/hughw19/NOCS_CVPR2019 https://www.researchgate.net/publication/338509949_Normalized_Object_Coordinate_Space_for_Category-Level_6D_Object_Pose_and_Size_Estimation https://openaccess.thecvf.com/content_CVPR_2019/papers/Wang_Normalized_Object_Coordinate_Space_for_Category-Level_6D_Object_Pose_and_CVPR_2019_paper.pdf https://geometry.stanford.edu/projects/NOCS_CVPR2019/pub/NOCS_CVPR2019.pdf https://www.researchgate.net/publication/330304942_Normalized_Object_Coordinate_Space_for_Category-Level_6D_Object_Pose_and_Size_Estimation https://paperswithcode.com/dataset/real275