UrBench: Ein Umfassender Benchmark für die Bewertung von Großen Multimodellen in Urbanen Szenarien

Einleitung

In den letzten Jahren haben große multimodale Modelle (LMMs) erhebliche Fortschritte in verschiedenen Anwendungsbereichen gemacht. Diese Modelle, die Text, Bilder und andere Datentypen kombinieren, zeigen beeindruckende Fähigkeiten in der Verarbeitung und Interpretation komplexer Daten. Allerdings beschränken sich viele der bestehenden Benchmarks auf grundlegende Aufgaben und einzelne Sichtweisen, insbesondere in urbanen Umgebungen. Um diese Lücke zu schließen, wurde der UrBench Benchmark entwickelt.

Zielsetzung und Aufbau von UrBench

UrBench wurde konzipiert, um die Fähigkeiten von LMMs in komplexen, multiview städtischen Szenarien zu bewerten. Der Benchmark beinhaltet 11.600 sorgfältig kuratierte Fragen auf Regionen- und Rollenniveau, die vier Aufgabenfelder abdecken: Geolokalisierung, Szenenverständnis, Szenenerklärung und Objektverständnis. Insgesamt umfasst UrBench 14 Aufgabentypen.

Datensammlung und Annotation

Für die Erstellung von UrBench wurden Daten aus bestehenden Datensätzen verwendet und zusätzlich Daten aus 11 Städten gesammelt. Diese Daten wurden durch eine Methode zur Erkennung und Zuordnung von Quersichtsanmerkungen annotiert. Mithilfe dieser Bilder und Anmerkungen wurden dann Fragen mithilfe von LMM-basierten, regelbasierten und menschlichen Methoden erstellt.

Bewertungsergebnisse

Die Evaluierungen von 21 LMMs zeigen, dass aktuelle Modelle in urbanen Umgebungen in mehreren Aspekten Schwierigkeiten haben. Selbst das leistungsfähigste Modell GPT-4o liegt bei den meisten Aufgaben hinter den Menschen zurück, mit einer durchschnittlichen Leistungslücke von 17,4%. Besonders auffällig ist, dass LMMs inkonsistente Verhaltensweisen bei unterschiedlichen urbanen Ansichten zeigen, insbesondere beim Verständnis von Quersichtbeziehungen.

Leistungsunterschiede zwischen Modellen

Die Leistung der Modelle variierte stark je nach Aufgabe und Szenario. Einige spezifische Beobachtungen: - Bei einfachen Aufgaben wie Zählen und Erkennen von Objekten schnitten die Modelle besser ab als bei komplexeren Aufgaben wie Orientierung und Lokalisierung. - Die Modelle zeigten inkonsistente Ergebnisse bei der Interpretation von Szenen aus verschiedenen Blickwinkeln, was auf Schwierigkeiten bei der Erkennung und Verknüpfung von Quersichtinformationen hinweist.

Bedeutung und zukünftige Entwicklungen

UrBench bietet eine umfassende Bewertungsplattform für die Fähigkeiten von LMMs in urbanen Szenarien und hebt die gegenwärtigen Einschränkungen dieser Modelle hervor. Die Erkenntnisse aus UrBench können dazu beitragen, zukünftige Entwicklungen in der multimodalen Modellierung zu lenken und die Forschung in Bereichen wie Bildverarbeitung, maschinelles Lernen und künstliche Intelligenz voranzutreiben.

Öffentliche Verfügbarkeit und Weiterentwicklung

Die Datensätze und Benchmark-Ergebnisse von UrBench werden öffentlich zugänglich gemacht, um die Forschungsgemeinschaft zu unterstützen und die Entwicklung leistungsfähigerer multimodaler Modelle zu fördern. Die kontinuierliche Weiterentwicklung und Erweiterung des Benchmarks wird dazu beitragen, die Leistungsfähigkeit von LMMs in immer komplexeren und realistischeren Szenarien zu testen.

Schlussfolgerung

UrBench stellt einen wichtigen Beitrag zur Bewertung und Weiterentwicklung von großen multimodalen Modellen dar. Durch die umfassende Berücksichtigung von verschiedenen Aufgaben und Szenarien in urbanen Umgebungen bietet UrBench wertvolle Einblicke in die Stärken und Schwächen aktueller Modelle und setzt neue Maßstäbe für zukünftige Forschung und Entwicklung. Bibliographie - https://arxiv.org/abs/2408.17267 - https://arxiv.org/abs/2406.19875 - https://github.com/OpenGVLab/MMT-Bench - http://ui.adsabs.harvard.edu/abs/2023arXiv230613394F/abstract - https://openreview.net/pdf/cd2e7d4af40f9413abc8f94db8072cbe1b3adf77.pdf - https://proceedings.mlr.press/v235/ying24a.html - https://llava-vl.github.io/blog/2024-06-16-llava-next-interleave - https://paperswithcode.com/dataset/mmt-bench - https://github.com/pliang279/awesome-multimodal-ml