GRAB: Neuer Benchmark zur Evaluierung von Graphenanalysefähigkeiten in großen multimodalen Modellen
Einführung eines Herausfordernden Graphenanalyse-Benchmarks für Große Multimodale Modelle
Einführung
In den letzten Jahren haben sich Große Multimodale Modelle (LMMs) als bemerkenswert fähig in vielen visuellen Aufgaben erwiesen. Trotz der Existenz zahlreicher bekannter Benchmarks zur Bewertung der Modellleistung besteht ein zunehmender Bedarf an neuen, anspruchsvolleren Benchmarks, die für die nächste Generation von LMMs geeignet sind. Eines der vielversprechenden Anwendungsgebiete für LMMs ist die Graphenanalyse, insbesondere die Aufgaben, die Analysten typischerweise bei der Interpretation von Diagrammen durchführen, wie etwa die Schätzung des Mittelwerts, der Schnittpunkte oder Korrelationen von Funktionen und Datenreihen. In dieser Arbeit stellen wir GRAB (Graph Analysis Benchmark) vor, einen neuen Benchmark, der für aktuelle und zukünftige Spitzen-LMMs geeignet ist.
Hintergrund
Die Fähigkeiten von LMMs nehmen rapide zu, was teilweise durch den Zugang zu erweiterten Rechenressourcen und eine wachsende Forschungsgemeinschaft angetrieben wird. Wettbewerbsdruck und kommerzielle Möglichkeiten beschleunigen diesen Fortschritt zusätzlich. Dies hat wichtige Auswirkungen auf die Evaluation und das Benchmarking, die entscheidend sind, um die relativen Stärken und Schwächen von Modellen zu beurteilen. Mit zunehmender Leistung der Modelle neigen die gängigen Benchmarks dazu, gesättigt und obsolet zu werden, was die Notwendigkeit neuer Herausforderungen, wie sie GRAB bietet, unterstreicht.
GRAB: Ein Überblick
GRAB ist ein vollständig synthetischer Benchmark, der aus 2170 Fragen besteht und vier Aufgaben sowie 23 Grapheneigenschaften abdeckt. Die synthetische Natur des Benchmarks stellt sicher, dass die Fragen von hoher Qualität und frei von Rauschen sind. Wir haben 20 LMMs auf GRAB evaluiert und festgestellt, dass es sich um einen äußerst herausfordernden Benchmark handelt. Das leistungsstärkste Modell erreichte lediglich eine Punktzahl von 21,7%. Diese Ergebnisse deuten darauf hin, dass selbst die fortschrittlichsten Modelle noch erhebliche Schwierigkeiten haben, die Aufgaben von GRAB zu bewältigen.
Die Aufgaben von GRAB
Die Aufgaben in GRAB umfassen:
- Eigenschaften: Analyse von Merkmalen einzelner Funktionen und Reihen. - Funktionen und Serien: Berechnung des Mittelwerts von Eigenschaften über mehrere Funktionen und Reihen. - Transformationen: Bestimmung der Eigenschaften einer Funktion nach einer Reihe von Transformationen.Methodik
Alle Diagramme in GRAB werden synthetisch unter Verwendung der Matplotlib-Bibliothek erzeugt. Diese Methode bietet mehrere Vorteile:
- Schwierigkeit: Die Komplexität der Fragen kann gesteuert und angepasst werden. - Rauschen: Der wahre Wert wird automatisch während der Erstellung bestimmt, wodurch potenziell fehlerhafte nachträgliche Annotationen vermieden werden. - Zusammensetzung: Die Merkmale der Fragen können direkt ausgewählt und skaliert werden. - Kontamination: Obwohl der Stil der Diagramme während des Pretrainings der meisten LMMs gesehen worden sein könnte, ist es unwahrscheinlich, dass genau diese Diagramme und Fragen gesehen wurden.Evaluation und Ergebnisse
Wir haben 20 geschlossene LMMs auf GRAB evaluiert und festgestellt, dass der Benchmark extrem herausfordernd ist. Das beste Modell erzielte eine Genauigkeit von nur 21,7%. Während einige Modelle bei den einfachsten Fragen eine gewisse Erfolgsquote zeigten, war der Großteil des Benchmarks für alle Modelle unlösbar. Wir führten eine detaillierte Fehleranalyse und verschiedene Ablationen durch, um zu verstehen, welche Aufgaben und Kategorien am schwierigsten waren und wie sich die Frageformate und Genauigkeitsanforderungen auf die Leistung auswirkten.
Fehleranalyse und Ablationen
Unsere Fehleranalyse zeigte, dass Modelle besonders bei komplexeren Aufgaben, die eine höhere Präzision erfordern, Schwierigkeiten hatten. Die Ablationen halfen uns zu identifizieren, welche spezifischen Eigenschaften der Fragen die größte Herausforderung darstellten und welche Bereiche für zukünftige Verbesserungen der Modelle am vielversprechendsten sind.
Schlussfolgerungen
Wir haben GRAB, einen anspruchsvollen Benchmark für die Graphenanalyse, eingeführt und die Fähigkeiten von 20 aktuellen LMMs umfassend charakterisiert. Unsere Ergebnisse zeigen, dass die aktuelle Generation von Modellen noch erhebliche Herausforderungen bei der Bewältigung von Aufgaben in GRAB hat. Wir hoffen, dass die Veröffentlichung von GRAB den Fortschritt in diesem wichtigen und wachsenden Bereich fördert.
