Die Untersuchung visueller Zwischenzustände in multimodalen KI-Modellen

Die Rolle visueller Zwischenzustände in multimodalen KI-Modellen: Eine Analyse

Multimodale große Sprachmodelle (Large Language Models, LLMs) haben in den letzten Jahren erhebliche Fortschritte gemacht und sind in der Lage, komplexe Aufgaben zu bewältigen, die sowohl Text als auch visuelle Informationen umfassen. Ein zunehmend diskutierter Aspekt dieser Modelle ist die Verwendung von visuellen Zwischenzuständen – wie Skizzen, Anmerkungen oder generierten Bildern – während ihrer Argumentationsprozesse. Die Frage, ob diese Modelle diese visuellen Hilfsmittel tatsächlich für ihre Schlussfolgerungen nutzen oder ob es sich lediglich um eine Form der "Halluzination" handelt, ist von zentraler Bedeutung für das Verständnis und die Weiterentwicklung dieser Technologien.

Hintergrund und Motivation der Forschung

Traditionell konzentrierten sich die Bewertungen multimodaler Modelle hauptsächlich auf die Endantworten. Dies führte zu einer Lücke im Verständnis, wie die internen Prozesse, insbesondere die Nutzung visueller Zwischenzustände, tatsächlich zur Lösung einer Aufgabe beitragen. Bestehende Benchmarks wiesen oft Einschränkungen auf, sei es durch eine zu geringe Abdeckung von Aufgabenbereichen oder durch Aufgaben, die teilweise auch ohne visuelle Hilfestellung rein textbasiert gelöst werden konnten. Eine detaillierte Diagnose, wie visuelle Zwischenzustände generiert, gerendert und tatsächlich verwendet werden, fehlte bislang.

Das See2Think-Framework: Ein neuer Ansatz zur Evaluation

Um diese Lücke zu schließen, wurde das See2Think-Framework entwickelt. Dieses umfasst zwei Hauptkomponenten:

• See2ThinkBench: Eine umfassende Sammlung von 1.200 visuell abhängigen Problemen, die sich über 12 Aufgabenkategorien erstrecken. Diese Kategorien umfassen 2D-strukturierte, 3D-Szenen- und reale Argumentationsaufgaben. Die Probleme sind so konzipiert, dass sie offene Antworten erfordern und eine starke Abhängigkeit von visuellen Informationen aufweisen, um eine rein textbasierte Lösung zu vermeiden.
• Visual Action-of-Thought (VAoT): Eine Methode zur Erfassung und Analyse der visuellen und textuellen Denkprozesse der Modelle. VAoT ermöglicht es, nachzuvollziehen, welche visuellen Operationen ein Modell ausführt und wie diese in den Argumentationsfluss integriert werden.

Das See2Think-Framework zielt darauf ab, zu entschlüsseln, ob ein visueller Zwischenzustand nützlich ist und ob das Argumentationsverhalten eines Modells tatsächlich von diesem abhängt.

Ergebnisse und Implikationen

Die Anwendung des See2Think-Frameworks auf verschiedene multimodale Modelle lieferte wichtige Erkenntnisse:

• Variierende Effektivität: Die Wirksamkeit der visuellen Argumentation zeigte sich als stark abhängig vom spezifischen Modell und der Umgebung, in der es eingesetzt wurde. Dies deutet darauf hin, dass es keine universelle Leistung bei der Nutzung visueller Zwischenzustände gibt.
• Herausforderungen bei der Darstellung: Ein zentrales Problem war die originalgetreue Wiedergabe der generierten visuellen Zwischenzustände. Modelle konnten zwar relevante visuelle Operationen auswählen, aber die Qualität und Genauigkeit der visuellen Ausgabe waren oft mangelhaft.
• Auswirkungen von fehlerhaftem Feedback: Die Studie zeigte, dass fehlerhaftes oder ungenaues visuelles Feedback die Leistung der Modelle erheblich beeinträchtigen kann. In bestimmten Szenarien führte dies zu einem Genauigkeitsverlust von über 10 Prozentpunkten. Dies unterstreicht die Sensibilität der Modelle gegenüber der Qualität ihrer internen visuellen Repräsentationen.
• Diskrepanz zwischen Generierung und Nutzung: Die Untersuchung legte nahe, dass das Generieren einer visuellen Spur nicht gleichbedeutend damit ist, dass diese auch effektiv für die Problemlösung genutzt wird. Es gab Fälle, in denen Modelle visuelle "Kritzeleien" erzeugten, diese aber bei der eigentlichen Entscheidungsfindung ignorierten oder nicht korrekt interpretierten.

Analyse und Ausblick

Die Forschungsergebnisse von See2Think verdeutlichen, dass die Fähigkeit multimodaler Modelle, visuelle Zwischenzustände zu erzeugen, nicht direkt mit ihrer Fähigkeit gleichzusetzen ist, diese auch sinnvoll in ihre Argumentation einzubeziehen. Die "Black Box" der KI-Modelle gibt zwar visuelle Ausgaben von sich, doch die tatsächliche Nutzung und Interpretation dieser Ausgaben ist komplexer als bisher angenommen.

Für Unternehmen, die multimodale KI-Lösungen einsetzen oder entwickeln, sind diese Erkenntnisse von großer Bedeutung. Sie weisen darauf hin, dass eine bloße Betrachtung der Endleistung nicht ausreicht, um die Robustheit und Zuverlässigkeit eines Modells zu beurteilen. Eine tiefere Analyse der internen Denkprozesse, wie sie durch Frameworks wie See2Think ermöglicht wird, ist entscheidend, um:

• Die wahren Fähigkeiten und Grenzen multimodaler Modelle besser zu verstehen.
• Gezielte Verbesserungen in der Modellarchitektur und den Trainingsmethoden vorzunehmen.
• Vertrauen in die Entscheidungsfindung von KI-Systemen aufzubauen, insbesondere in kritischen Anwendungen.
• Die Entwicklung von Benchmarks voranzutreiben, die nicht nur die Endantwort, sondern auch die Qualität der Zwischenschritte bewerten.

Die Studie "See2Think" leistet einen wichtigen Beitrag zur Debatte über die Transparenz und Interpretierbarkeit von KI-Modellen. Sie fordert eine Abkehr von reinen "Endantwort-Metriken" hin zu einer umfassenderen Diagnose, die die internen Mechanismen und die tatsächliche Nutzung multimodaler Informationen beleuchtet. Dies ist ein entscheidender Schritt auf dem Weg zu intelligenteren und verlässlicheren KI-Systemen.

Bibliographie

Siyu Yan et al. "See2Think: Do Multimodal Models Really Use Intermediate Visual States?". ArXiv, 29. Juli 2026. Siyu Yan et al. "See2Think: Do Multimodal Models Really Use Intermediate Visual States?". Hugging Face Papers, 29. Juli 2026. Siyu Yan et al. "See2Think: Do Multimodal Models Really Use Intermediate Visual States?". Lattice, 29. Juli 2026. "Multimodal AI models are hallucinating their own homework". Singularity Moments, 31. Juli 2026. Zihui Cheng et al. "Visual Thoughts: A Unified Perspective of Understanding Multimodal Chain-of-Thought". ArXiv, 2025. Ethan Chern et al. "Thinking with Generated Images". ArXiv, 2025. Jiawei Gu et al. "ThinkMorph: Emergent Properties in Multimodal Interleaved Chain-of-Thought Reasoning". ArXiv, 2025.