Die Erkennung von Out-of-Distribution (OOD)-Samples ist von entscheidender Bedeutung für die Sicherheit von Machine-Learning-Systemen und hat das Forschungsfeld der OOD-Erkennung geprägt. Gleichzeitig sind mehrere andere Probleme eng mit der OOD-Erkennung verwandt, darunter Anomalieerkennung (AD), Neuheitserkennung (ND), Open-Set-Erkennung (OSR) und Ausreißererkennung (OD). Um diese Probleme zu vereinheitlichen, wurde ein generalisiertes OOD-Erkennungsframework vorgeschlagen, das diese fünf Probleme taxonomisch kategorisiert.
Vision-Language-Modelle (VLMs) wie CLIP haben das Paradigma grundlegend verändert und die Grenzen zwischen diesen Bereichen verschwimmen lassen. Dadurch sind die Unterschiede und Beziehungen zwischen diesen Aufgaben schwerer zu verstehen, was die Forschungsgemeinschaft vor erhebliche Herausforderungen stellt.
In dieser Übersicht präsentieren wir eine aktualisierte Version des generalisierten OOD-Erkennungsframeworks, das die Entwicklung von AD, ND, OSR, OOD-Erkennung und OD im VLM-Zeitalter umfasst. Unser Framework zeigt, dass die anspruchsvollen Herausforderungen auf OOD-Erkennung und AD reduziert wurden.
Die Aufgaben Anomalieerkennung, Neuheitserkennung, Open-Set-Erkennung, OOD-Erkennung und Ausreißererkennung haben sich im VLM-Zeitalter weiterentwickelt. Diese Entwicklungen sind durch die Integration und Inaktivität bestimmter Felder gekennzeichnet, wobei die größten Herausforderungen nun in der OOD-Erkennung und AD liegen.
Mit dem Aufkommen der VLMs gab es einen signifikanten Paradigmenwechsel in der Definition, den Problemstellungen und den Benchmarks der OOD-Erkennung. Diese Übersicht bietet eine umfassende Überprüfung der Methodik für die OOD-Erkennung und verwandte Aufgaben, um deren Beziehung zur OOD-Erkennung zu verdeutlichen.
In der Ära der Large Vision Language Models (LVLMs), wie GPT-4V, hat sich die OOD-Erkennung weiterentwickelt. Diese Modelle kombinieren visuelle und sprachliche Informationen und bieten neue Möglichkeiten und Herausforderungen für die OOD-Erkennung.
Wir untersuchen die Definitionen und Problemstellungen der OOD-Erkennung im Kontext der LVLMs und bieten eine umfassende Analyse der bisher erzielten Fortschritte und zukünftigen Herausforderungen.
CLIP-basierte OOD-Erkennung und Anomalieerkennung nutzen verschiedene Benchmarks und Methodiken, um die Leistung dieser Modelle zu bewerten. Zu den gängigen Benchmarks gehören das ImageNet OOD Benchmark und das MVTec-AD.
Methoden zur CLIP-basierten OOD-Erkennung umfassen Zero-shot- und Few-shot-Ansätze, die ohne zusätzliche Trainingsdaten oder mit begrenzten Trainingsdaten arbeiten. Zu den wichtigen Benchmarks gehören ImageNet-20, ImageNet-10 und das ImageNet-Protokoll.
Um die Anwendbarkeit der Modelle in realen Szenarien zu testen, werden auch reale Benchmarks herangezogen. Dazu gehört beispielsweise ImageNet-ES, das Variationen in Umwelt- und Kamerasensorfaktoren berücksichtigt.
Trotz der bisherigen Fortschritte gibt es noch viele offene Herausforderungen in der OOD-Erkennung im VLM- und LVLM-Zeitalter. Zukünftige Forschung sollte sich auf die Verbesserung der Robustheit und Genauigkeit dieser Modelle konzentrieren, insbesondere in sicherheitskritischen Anwendungen wie dem autonomen Fahren und der medizinischen Bildanalyse.
Diese Übersicht bietet einen umfassenden Überblick über die Entwicklung der OOD-Erkennung im VLM-Zeitalter und stellt die herausfordernden Aufgaben und zukünftigen Forschungsschwerpunkte dar. Unsere Erkenntnisse sollen die Zusammenarbeit zwischen den verschiedenen Forschungsgemeinschaften fördern und die Entwicklung robuster und zuverlässiger Machine-Learning-Systeme unterstützen.
Bibliography: - http://arxiv.org/abs/2407.21794 - https://github.com/AtsuMiyai/Awesome-OOD-VLM - https://arxiv.org/html/2407.21794v1 - https://chatpaper.com/chatpaper/de/paper/43775 - https://synthical.com/article/Generalized-Out-of-Distribution-Detection-and-Beyond-in-Vision-Language-Model-Era%3A-A-Survey-b120f831-020f-493d-bb90-f8fdbed517af? - https://atsumiyai.github.io/ - https://www.researchgate.net/publication/381652076_Generalized_Out-of-Distribution_Detection_A_Survey - https://arxiv-sanity-lite.com/?rank=pid&pid=2407.21794 - https://openreview.net/forum?id=nYjSkOy8ij - https://arxiv-sanity-lite.com/?rank=pid&pid=2211.13445