InfiMM-WebMath-40B: Fortschritte im Multimodalen Pre-Training für Verbesserte Mathematische Schlussfolgerungen

Einführung

Die Vorab-Trainierung auf umfangreichen, qualitativ hochwertigen Datensätzen ist entscheidend für die Verbesserung der Schlussfolgerungsfähigkeiten großer Sprachmodelle (LLMs), insbesondere in spezialisierten Bereichen wie der Mathematik. Trotz der anerkannten Bedeutung fehlt es im Bereich der multimodalen LLMs (MLLMs) derzeit an einem umfassenden Open-Source-Pre-Training-Datensatz, der speziell für mathematische Schlussfolgerungen entwickelt wurde. Um diese Lücke zu schließen, stellen wir InfiMM-WebMath-40B vor, einen hochwertigen Datensatz aus interleaved Bild-Text-Dokumenten.

Überblick über InfiMM-WebMath-40B

InfiMM-WebMath-40B besteht aus 24 Millionen Webseiten, 85 Millionen zugehörigen Bild-URLs und 40 Milliarden Texttokens, die alle sorgfältig aus CommonCrawl extrahiert und gefiltert wurden. Zur Demonstration der Robustheit von InfiMM-WebMath-40B führten wir Bewertungen sowohl in textbasierten als auch in multimodalen Szenarien durch. Unsere Auswertungen an textbasierten Benchmarks zeigen, dass unser Datensatz trotz der Nutzung von nur 40 Milliarden Tokens die Leistung unseres 1,3B-Modells erheblich verbessert und Ergebnisse liefert, die mit DeepSeekMath-1,3B vergleichbar sind, welches 120 Milliarden Tokens für dasselbe Modellgröße verwendet.

Datenerfassungs- und Verarbeitungsprozess

Der Datenerfassungs- und Verarbeitungsprozess von InfiMM-WebMath-40B umfasst mehrere Schritte: - Sammlung von Webdaten: Wir haben 24 Millionen Webseiten von CommonCrawl gesammelt. - Extraktion von Bild-URLs: 85 Millionen Bild-URLs wurden extrahiert. - Tokenisierung und Filterung: 40 Milliarden Texttokens wurden aus den Webseiten extrahiert und sorgfältig gefiltert. Dieser Prozess stellt sicher, dass die Daten von hoher Qualität und relevant für mathematische Schlussfolgerungen sind.

Bewertung und Ergebnisse

Um die Effektivität von InfiMM-WebMath-40B zu bewerten, haben wir unser Modell sowohl in textbasierten als auch in multimodalen Umgebungen getestet. Die Ergebnisse zeigen, dass unser Datensatz die Leistung unseres 1,3B-Modells in textbasierten Benchmarks erheblich verbessert. Darüber hinaus setzen unsere Modelle mit der Einführung unseres multimodalen mathematischen Pre-Training-Datensatzes neue Maßstäbe in offenen Modellen auf multimodalen Mathematik-Benchmarks wie MathVerse und We-Math.

Textbasierte Benchmarks

- Unser Modell erzielte bemerkenswerte Verbesserungen trotz der Nutzung von nur 40 Milliarden Tokens. - Die Ergebnisse sind vergleichbar mit denen von DeepSeekMath-1,3B, das 120 Milliarden Tokens verwendet.

Multimodale Benchmarks

- Unsere Modelle setzen neue Maßstäbe auf multimodalen Mathematik-Benchmarks wie MathVerse und We-Math. - Dies demonstriert die Stärke unseres multimodalen mathematischen Pre-Training-Datensatzes.

Schlussfolgerung

InfiMM-WebMath-40B stellt einen bedeutenden Fortschritt im Bereich der multimodalen Vorab-Trainierung für mathematische Schlussfolgerungen dar. Durch die Bereitstellung eines hochwertigen, umfassenden Datensatzes von 24 Millionen Webseiten, 85 Millionen Bild-URLs und 40 Milliarden Texttokens haben wir die Leistungsfähigkeit unserer Modelle erheblich verbessert. Die Ergebnisse unserer Bewertungen zeigen, dass unser Datensatz die Leistung sowohl in textbasierten als auch in multimodalen Umgebungen erheblich steigert und neue Maßstäbe auf offenen mathematischen Benchmarks setzt.

Zukunftsperspektiven

Die Veröffentlichung von InfiMM-WebMath-40B auf Hugging Face (https://huggingface.co/datasets/Infi-MM/InfiMM-WebMath-40B) bietet Forschern und Entwicklern die Möglichkeit, von diesem umfassenden Datensatz zu profitieren und ihre eigenen Modelle zu trainieren. Zukünftige Arbeiten könnten sich auf die Weiterentwicklung und Verfeinerung des Datensatzes sowie auf die Anwendung in anderen spezialisierten Bereichen konzentrieren. Bibliographie - https://github.com/InfiMM/Awesome-Multimodal-LLM-for-Math-STEM - https://arxiv.org/abs/2406.17294 - https://arxiv.org/abs/2404.14604 - https://arxiv-sanity-lite.com/?rank=pid&pid=2406.17294 - https://github.com/lupantech/dl4math - https://openreview.net/forum?id=KUNzEQMWU7 - https://arxiv-sanity-lite.com/?rank=pid&pid=2404.14604 - https://sparkjiao.github.io/publications/