Die MTEB-Arena: Ein neuer Maßstab für Embedding-Modelle

Die Welt der künstlichen Intelligenz (KI) und des maschinellen Lernens (ML) entwickelt sich rasant weiter. Ein besonders spannendes Feld ist die Textverarbeitung, in der Text-Embedding-Modelle eine zentrale Rolle spielen. Diese Modelle wandeln Text in numerische Vektoren um, die semantische Informationen enthalten, und sind entscheidend für viele Anwendungen in der natürlichen Sprachverarbeitung (NLP). Um die Leistungsfähigkeit dieser Modelle zu bewerten, wurde der Massive Text Embedding Benchmark (MTEB) ins Leben gerufen, eine Initiative von Hugging Face.

Überblick über MTEB

Der Massive Text Embedding Benchmark (MTEB) ist ein umfangreicher Benchmark zur Bewertung der Leistung von Text-Embedding-Modellen in verschiedenen Aufgabenbereichen. MTEB umfasst 56 Datensätze in acht verschiedenen Aufgabenbereichen und bietet eine umfassende Übersicht über die besten verfügbaren Text-Embedding-Modelle. Die Aufgaben umfassen Retrieval, Clustering, semantische Textähnlichkeit (STS), Klassifikation und mehr. Das Ziel von MTEB ist es, die besten Modelle für verschiedene Aufgaben zu identifizieren und so die Forschung und Entwicklung in diesem Bereich voranzutreiben.

Warum sind Text-Embeddings wichtig?

Text-Embeddings sind Vektordarstellungen von Text, die semantische Informationen kodieren. Da Maschinen numerische Eingaben benötigen, um Berechnungen durchzuführen, sind Text-Embeddings ein wesentlicher Bestandteil vieler nachgelagerter NLP-Anwendungen. Beispielsweise nutzt Google Text-Embeddings, um ihre Suchmaschine zu betreiben. Text-Embeddings können auch verwendet werden, um Muster in großen Textmengen durch Clustering zu finden oder als Eingaben für Textklassifikationsmodelle zu dienen.

Die Aufgaben und Datensätze von MTEB

MTEB umfasst eine Vielzahl von Aufgaben und Datensätzen, die entwickelt wurden, um die Leistung von Text-Embedding-Modellen zu bewerten. Die wichtigsten Aufgaben sind:

- Retrieval: Hierbei wird die Relevanz von Dokumenten in Bezug auf eine gegebene Abfrage bewertet. - Clustering: Diese Aufgabe bewertet die Fähigkeit des Modells, ähnliche Texte zu gruppieren. - Semantische Textähnlichkeit (STS): Hier wird die Ähnlichkeit zwischen Textpaaren gemessen. - Klassifikation: Diese Aufgabe bewertet die Fähigkeit des Modells, Texte in vordefinierte Kategorien einzuordnen.

Multilingualität und Extensibilität

MTEB ist nicht nur auf eine Sprache beschränkt. Der Benchmark umfasst bis zu 112 verschiedene Sprachen und bewertet mehrere mehrsprachige Modelle in Aufgaben wie Bitext-Mining, Klassifikation und STS. Darüber hinaus ist MTEB erweiterbar, was bedeutet, dass neue Aufgaben, Datensätze, Metriken oder Leaderboard-Ergänzungen jederzeit willkommen sind. Die Community wird ermutigt, Beiträge zu leisten und offene Probleme zu lösen, um den Benchmark kontinuierlich zu verbessern.

Modelle im Vergleich

Für die anfängliche Benchmarking-Phase von MTEB wurden Modelle ausgewählt, die den Anspruch auf den aktuellen Stand der Technik erheben, sowie beliebte Modelle aus dem Hugging Face Hub. Diese Modelle wurden in drei Hauptkategorien eingeteilt:

- Maximale Geschwindigkeit: Modelle wie Glove bieten hohe Geschwindigkeit, sind jedoch kontextbezogen weniger leistungsfähig. - Geschwindigkeit und Leistung: Modelle wie all-mpnet-base-v2 oder all-MiniLM-L6-v2 bieten ein gutes Gleichgewicht zwischen Geschwindigkeit und Leistung. - Maximale Leistung: Modelle mit mehreren Milliarden Parametern wie ST5-XXL oder GTR-XXL dominieren auf MTEB, erfordern jedoch mehr Speicherplatz.

Ein Beispiel für das Benchmarking

Mit der MTEB-Bibliothek können Sie jedes Modell, das Embeddings erzeugt, benchmarken und seine Ergebnisse dem öffentlichen Leaderboard hinzufügen. Hier ist ein kurzes Beispiel:

Installieren Sie zunächst die Bibliothek:

pip install mteb

Anschließend können Sie ein Modell auf einem Datensatz benchmarken, zum Beispiel Komninos-Wort-Embeddings auf Banking77:

from mteb import MTEB
from sentence_transformers import SentenceTransformer

model_name = "average_word_embeddings_komninos"
model = SentenceTransformer(model_name)

evaluation = MTEB(tasks=["Banking77Classification"])
results = evaluation.run(model, output_folder=f"results/{model_name}")

Diese Schritte erzeugen eine results/average_word_embeddings_komninos/Banking77Classification.json-Datei, die Sie dann dem Leaderboard hinzufügen können.

Schlussfolgerung

Die MTEB-Arena bietet eine umfassende Plattform zur Bewertung und zum Vergleich von Text-Embedding-Modellen. Dies ist ein bedeutender Schritt zur Verbesserung der Qualität und Leistungsfähigkeit von NLP-Anwendungen weltweit. Durch die kontinuierliche Erweiterung und die Einbeziehung der Community bleibt MTEB ein lebendiges und dynamisches Projekt, das die Grenzen der Textverarbeitung immer weiter verschiebt.

Quellen

https://huggingface.co/blog/mteb
https://huggingface.co/papers/2210.07316
https://huggingface.co/mteb
https://huggingface.co/spaces/mteb/leaderboard/discussions/55
https://huggingface.co/collections/open-llm-leaderboard/the-big-benchmarks-collection-64faca6335a7fc7d4ffe974a
https://huggingface.co/blog/lyon-nlp-group/french-mteb-datasets
https://huggingface.co/papers/2401.00368
https://huggingface.co/spaces/mteb/leaderboard/discussions/7