DINO-X: Fortschritte in der Objekterkennung und -verständnis

DINO-X: Ein neuer Meilenstein im Bereich der Objekterkennung und -verständnis

IDEA Research, ein führendes Unternehmen im Bereich der Künstlichen Intelligenz, hat kürzlich DINO-X vorgestellt, ein vereinheitlichtes, objektzentriertes Vision-Modell, das den aktuellen Stand der Technik in der Open-World-Objekterkennung neu definiert. DINO-X basiert auf der gleichen Transformer-basierten Encoder-Decoder-Architektur wie Grounding DINO 1.5 und zielt auf eine objektbasierte Repräsentation für das Verständnis von Objekten in offenen Welten ab.

Flexible Prompt-Optionen für verbesserte Objekterkennung

Eine der wichtigsten Innovationen von DINO-X ist die Erweiterung der Eingabemöglichkeiten um Text-, Bild- und benutzerdefinierte Prompts. Diese flexiblen Prompt-Optionen ermöglichen eine präzisere und umfassendere Objekterkennung. Darüber hinaus wurde ein universeller Objekt-Prompt entwickelt, der eine promptfreie Open-World-Erkennung ermöglicht. Das bedeutet, dass DINO-X Objekte in einem Bild erkennen kann, ohne dass der Benutzer explizite Prompts angeben muss. Diese Funktion vereinfacht den Erkennungsprozess erheblich und erweitert die Anwendungsmöglichkeiten des Modells.

Grounding-100M: Ein riesiger Datensatz für verbesserte Leistung

Um die Kernkompetenz des Groundings zu verbessern, hat IDEA Research einen umfangreichen Datensatz namens Grounding-100M erstellt. Dieser Datensatz enthält über 100 Millionen hochwertige Grounding-Samples und trägt maßgeblich zur Verbesserung der Open-Vocabulary-Erkennungsleistung von DINO-X bei. Das Pre-Training mit diesem Datensatz führt zu einer fundierten, objektbasierten Repräsentation, die es DINO-X ermöglicht, mehrere Wahrnehmungsmodule zu integrieren. Dadurch kann das Modell gleichzeitig verschiedene Aufgaben der Objektwahrnehmung und des -verständnisses bewältigen, darunter Erkennung, Segmentierung, Pose-Schätzung, Objektbeschreibung, objektbasierte Fragebeantwortung und mehr.

DINO-X Pro und Edge: Zwei Modelle für unterschiedliche Anforderungen

DINO-X ist in zwei Varianten verfügbar: DINO-X Pro und DINO-X Edge. Das Pro-Modell bietet erweiterte Wahrnehmungsfähigkeiten für verschiedene Szenarien und erzielt herausragende Ergebnisse in Benchmarks. Das Edge-Modell hingegen ist auf schnellere Inferenzgeschwindigkeit optimiert und eignet sich besonders für den Einsatz auf Edge-Geräten mit begrenzten Ressourcen. Diese Dualität ermöglicht eine flexible Anpassung an unterschiedliche Anwendungsfälle und Hardware-Konfigurationen.

Beeindruckende Ergebnisse in Benchmarks

Die Leistungsfähigkeit von DINO-X wurde in verschiedenen Benchmarks eindrucksvoll unter Beweis gestellt. Das DINO-X Pro-Modell erreicht beispielsweise 56,0 AP auf COCO, 59,8 AP auf LVIS-minival und 52,4 AP auf LVIS-val im Bereich der Zero-Shot-Objekterkennung. Besonders bemerkenswert sind die Ergebnisse bei der Erkennung seltener Objekte: DINO-X erzielt 63,3 AP auf LVIS-minival und 56,5 AP auf LVIS-val für seltene Klassen, was eine deutliche Verbesserung gegenüber dem bisherigen Stand der Technik darstellt. Diese Ergebnisse unterstreichen die Fähigkeit von DINO-X, auch Long-Tail-Objekte, also Objekte, die im Datensatz nur selten vorkommen, zuverlässig zu erkennen.

Ausblick und Verfügbarkeit

DINO-X stellt einen wichtigen Fortschritt im Bereich der Computer Vision dar und eröffnet neue Möglichkeiten für Anwendungen in verschiedenen Branchen, von der Robotik bis zur medizinischen Bildgebung. Das Modell und die zugehörige API werden in Kürze veröffentlicht und versprechen eine breite Anwendung und weitere Forschung in diesem spannenden Feld. Besonders für Mindverse, ein deutsches All-in-One-Content-Tool für KI-Text, -Inhalte, -Bilder und -Recherche, bietet DINO-X das Potenzial, die eigenen KI-Lösungen, wie Chatbots, Voicebots, KI-Suchmaschinen und Wissenssysteme, weiter zu verbessern und an die Spitze der technologischen Entwicklung zu bringen.

Bibliographie: https://arxiv.org/abs/2411.14347 https://github.com/IDEA-Research/DINO https://arxiv.org/html/2411.04983 https://towardsdatascience.com/dino-emerging-properties-in-self-supervised-vision-transformers-summary-ab91df82cc3c https://gertjanburghouts.github.io/research/ https://paperreading.club/page?id=267572 https://sa2022.siggraph.org/core/modules/014685a2f4/get_cal/indexa0c1.html https://www.researchgate.net/scientific-contributions/Lei-Ding-2106367502