Die Präsentation des xGen-MM (BLIP-3) von Salesforce: Ein Meilenstein für Multimodale Modelle

Einführung

Die fortschreitende Entwicklung der Künstlichen Intelligenz (KI) bringt immer wieder bahnbrechende Technologien hervor. Salesforce, ein führendes Unternehmen im Bereich Cloud-basierter Softwarelösungen, hat kürzlich sein neuestes Produkt in der Reihe der großen multimodalen Modelle (Large Multimodal Models, LMMs) vorgestellt: xGen-MM (BLIP-3). Diese Modelle sind darauf ausgelegt, verschiedene Modalitäten wie Text und Bild zu integrieren und zu verarbeiten, um eine breite Palette von Aufgaben effizient zu bewältigen.

Die Evolution von BLIP zu xGen-MM

BLIP (Bootstrapped Language-Image Pre-training) war bereits eine erfolgreiche Serie von multimodalen Modellen, die von Salesforce AI Research entwickelt wurde. Mit der Einführung von xGen-MM hat Salesforce diese Technologie weiterentwickelt und verbessert. Die neue Serie soll besser mit der einheitlichen XGen-Initiative von Salesforce für große Foundation-Modelle abgestimmt sein.

Technische Details und Verbesserungen

xGen-MM umfasst mehrere Modelle, die auf umfangreichen Datensätzen für Bildbeschreibungen und interleaved Bild-Text-Daten trainiert wurden. Zu den herausragenden Merkmalen gehören: - Das vortrainierte Basis-Modell xgen-mm-phi3-mini-base-r-v1 erreicht eine führende Leistung mit weniger als 5 Milliarden Parametern und zeigt starke In-Context-Lernfähigkeiten. - Das feinabgestimmte Modell xgen-mm-phi3-mini-instruct-r-v1 erreicht ebenfalls eine führende Leistung unter offenen und geschlossenen VLMs mit weniger als 5 Milliarden Parametern. - xgen-mm-phi3-mini-instruct-r-v1 unterstützt flexible Hochauflösungs-Bildcodierung mit effizientem visuellen Token-Sampling.

Leistungsbewertung

Die Modelle wurden auf verschiedenen Datensätzen bewertet, darunter COCO, NoCaps, TextCaps, OKVQA, TextVQA und VizWiz. Die Ergebnisse zeigen, dass die Modelle von Salesforce in mehreren Benchmarks führend sind. Hier einige der Benchmark-Ergebnisse: - xgen-mm-phi3-mini-base-r-v1 erzielte im COCO-Datensatz (Val) 110.5 Punkte bei 4-Schuss und 112.1 Punkte bei 8-Schuss. - xgen-mm-phi3-mini-instruct-r-v1 erzielte im SEED-IMG-Datensatz 72.1 Punkte und im MMBench (Dev) 74.1 Punkte.

Anwendungsbeispiele und Nutzung

Die Modelle können in verschiedenen Anwendungen eingesetzt werden, von der Bildbeschreibung über die visuelle Fragebeantwortung bis hin zu komplexen multimodalen Aufgaben. Ein Beispiel für die Nutzung des Modells zur Bildbeschreibung ist die Frage "Wie viele Hunde sind auf dem Bild?" Das Modell kann das Bild analysieren und eine präzise Antwort generieren.

Ethik und Sicherheit

Wie bei allen KI-Modellen gibt es auch hier ethische und sicherheitsrelevante Überlegungen. Die Datenquellen stammen hauptsächlich aus dem Internet und beinhalten Webseiten, Bilddatenbanken und kuratierte Datensätze aus der Forschungsgemeinschaft. Bestimmte Daten, wie zum Beispiel von LAION, wurden aufgrund bekannter Probleme mit CSAM ausgeschlossen. Die Modelle können jedoch weiterhin Verzerrungen aus den ursprünglichen Datenquellen sowie aus großen Sprachmodellen und kommerziellen APIs aufweisen. Benutzer werden dringend empfohlen, Sicherheits- und Fairnessbewertungen durchzuführen, bevor die Modelle in Anwendungen eingesetzt werden.

Lizenz und Verfügbarkeit

Der Code und die Modelle werden unter der Creative Commons Attribution Non Commercial 4.0 Lizenz veröffentlicht. Für die kommerzielle Nutzung der Modellgewichte muss ein entsprechendes Formular ausgefüllt werden.

Abschließende Gedanken

Die Einführung von xGen-MM (BLIP-3) stellt einen bedeutenden Fortschritt in der Entwicklung multimodaler Modelle dar. Mit ihrer Fähigkeit, verschiedene Datensätze effizient zu verarbeiten und führende Leistungen in mehreren Benchmarks zu erzielen, bieten diese Modelle vielversprechende Möglichkeiten für eine Vielzahl von Anwendungen in der Künstlichen Intelligenz.

Bibliographie

https://huggingface.co/Salesforce/xgen-mm-phi3-mini-instruct-r-v1 https://huggingface.co/Salesforce/xgen-mm-phi3-mini-base-r-v1 https://huggingface.co/Salesforce/xgen-mm-phi3-mini-instruct-r-v1/discussions https://huggingface.co/Salesforce/xgen-mm-phi3-mini-instruct-r-v1/tree/main https://huggingface.co/Salesforce/xgen-mm-phi3-mini-instruct-r-v1/discussions/2 https://huggingface.co/Salesforce/xgen-mm-phi3-mini-instruct-r-v1/commit/2873e87b3bb7fd3827dc4eef7871cba4042b1f73 https://huggingface.co/Salesforce/xgen-mm-phi3-mini-instruct-r-v1/discussions/5