Die Evolution Künstlicher Intelligenz durch Synthetische Daten in Visuell-Sprachlichen Modellen

In den letzten Jahren haben sich visuell-sprachliche Modelle (VLMs) als revolutionäre Technologie in der Künstlichen Intelligenz (KI) etabliert. Sie kombinieren visuelle und sprachliche Hinweise, um komplexe Aufgaben wie Bildbeschriftung, visuelle Fragebeantwortung und Text-zu-Bild-Suche zu bewältigen. Die Entwicklung dieser Modelle steht jedoch vor der Herausforderung, qualitativ hochwertige, von Menschen beschriftete Bild-Unterschrift-Datensätze zu erstellen, was einen wesentlichen Engpass darstellt. Google hat nun eine innovative Lösung namens "Synth^2" angekündigt, die darauf abzielt, visuell-sprachliche Modelle mit synthetischen Bildunterschriften und Bild-Einbettungen zu verbessern.

Die Grundidee hinter "Synth^2" ist es, die Beschränkungen zu überwinden, die durch die Notwendigkeit entstehen, große Mengen an manuell beschrifteten Daten zu generieren. Durch die Verwendung von synthetischen Daten kann die Effizienz gesteigert und die Privatsphäre besser geschützt werden, da keine echten Benutzerdaten erforderlich sind. Zusätzlich ermöglicht es eine Anpassung an spezifische Domänen und kann die Generalisierungsfähigkeit für Zero-Shot-Performance verbessern.

Ein Schlüsselelement der "Synth^2"-Methodik ist die Nutzung von großen Sprachmodellen, um mehrere Sätze zu erzeugen, die dieselbe Szene aus verschiedenen Blickwinkeln beschreiben. Diese Sätze werden dann zu einer einzigen, mehrkontextuellen Beschreibung zusammengefasst. Anschließend werden komplexe Bilder mit diesen kondensierten Bildunterschriften durch Diffusionsmodelle generiert. Diese synthetisch erstellten Bild-Text-Paare bilden die Grundlage für das Training der Modelle.

Die Forschung hat gezeigt, dass diese Herangehensweise in verschiedenen Domänen und über Domänen hinweg beeindruckende Ergebnisse erzielt. Sie erreicht den aktuellen Stand der Technik auf bekannten Datensätzen wie MSCOCO, Flickr30k und NoCaps. Dieser Ansatz könnte die Art und Weise, wie VLMs trainiert werden, grundlegend verändern und die Entwicklung von KI-Systemen beschleunigen, die in der Lage sind, die physische Welt zu verstehen und darüber zu räsonieren.

Visuell-sprachliche Modelle sind nicht nur für die Bildbeschriftung relevant, sondern auch für die Robotermanipulation, wo ein tiefgreifendes Verständnis der physischen Welt notwendig ist. Die Forschung im Bereich der physikalisch fundierten VLMs hat gezeigt, dass die Feinabstimmung eines VLMs auf einem objektzentrierten Datensatz mit physischen Konzeptannotationen das Verständnis für physische Objektkonzepte verbessert. Dies kann zu verbesserten Planungsleistungen bei Aufgaben führen, die ein Räsonieren über physische Objektkonzepte erfordern.

Die Architektur dieser Modelle ist komplex und nutzt fortschrittliche Techniken wie Kontrastlernen, maskierte Sprachbildmodellierung und Encoder-Decoder-Module mit Transformern. Diese Architekturen können die Beziehungen zwischen verschiedenen Modalitäten lernen und Ergebnisse auf dem neuesten Stand der Technik liefern.

Im Kontext der visuell-sprachlichen Modelle werden verschiedene Lernmethoden und Architekturen verwendet, darunter CLIP, Flamingo, VisualBert und viele andere. Techniken wie Kontrastlernen helfen, Datenpunkte durch das Verständnis ihrer Unterschiede zu lernen. Andere Methoden, wie PrefixLM, ermöglichen es dem Modell, die nächste Wortsequenz auf der Grundlage eines Bildes und seines entsprechenden Präfixtextes vorherzusagen.

Die Fusion multimodaler Informationen mit Kreuz-Aufmerksamkeit, maskiertem Sprachmodellierung (MLM) und Bild-Text-Abgleich (ITM) sind weitere wichtige Techniken, die in VLMs zum Einsatz kommen. Wissenstransfer über Destillationsmethoden ermöglicht es, Wissen von einem großen, gut trainierten Lehrermodell auf ein leichteres Schülermodell mit weniger Parametern zu übertragen.

Diese fortgeschrittenen Modelle und Techniken sind entscheidend für die Entwicklung leistungsfähiger VLMs, die in der Lage sind, die Komplexität der realen Welt zu erfassen und darauf zu reagieren. Die jüngste Ankündigung von Google unterstreicht den anhaltenden Trend, KI-Modelle effizienter, anpassungsfähiger und leistungsfähiger zu machen.

Quellen:
- Twitter-Post von @_akhaliq über "Synth^2" und visuell-sprachliche Modelle: https://twitter.com/_akhaliq/status/1699601314798346309
- Arxiv-Paper über "Physically Grounded Vision-Language Models for Robotic Manipulation": https://arxiv.org/abs/2305.18072
- Encord-Blog über "Guide to Vision-Language Models (VLMs)": https://encord.com/blog/vision-language-models-guide/
- Arxiv-Paper über "Image Captioning with Multi-Context Synthetic Data": https://arxiv.org/pdf/2401.06129