Große Sprachmodelle (LLMs) zeichnen sich durch ihre Leistungsfähigkeit bei Aufgaben zur Texterstellung aus. Ihre primär auf Dekodierung ausgerichtete Architektur schränkt jedoch oft ihr Potenzial als Einbettungsmodelle ein, insbesondere wenn keine Feinabstimmung der Repräsentation erfolgt. Steht dies im Widerspruch zu ihrem Anspruch, Generalisten zu sein? Um diese Frage zu beantworten, nehmen wir Mixture-of-Experts (MoE) LLMs genauer unter die Lupe.
Mixture-of-Experts LLMs als Einbettungsmodelle
Unsere Untersuchungen zeigen, dass die Experten-Router in MoE LLMs als sofort einsatzbereite Einbettungsmodelle dienen können. Sie erzielen vielversprechende Leistungen bei einer Vielzahl von Aufgaben, die auf Einbettungen basieren, ohne dass eine Feinabstimmung erforderlich ist. Darüber hinaus zeigt unsere umfassende Analyse, dass die MoE-Routing-Gewichte (RW) eine wertvolle Ergänzung zum Hidden State (HS) von LLMs darstellen, der als Einbettung weit verbreitet ist.
Routing-Gewichte vs. Hidden State
Im Vergleich zu HS sind RW robuster gegenüber der Wahl der Prompts und konzentrieren sich stärker auf Semantik auf höherer Ebene. Während sich HS auf die endgültigen Vorhersageergebnisse aus der Eingabe konzentriert, spiegeln RW die zwischenzeitlichen Entscheidungsfindungsprozesse von MoE für jede Schicht der LLMs wider.
MoEE: Kombination von RW und HS
Motiviert durch diese Erkenntnisse schlagen wir MoEE vor, eine neuartige Methode, die RW und HS von MoE LLMs kombiniert. Dies führt zu einer trainingsfreien, kontextreichen und ganzheitlichen Einbettung, die sich durch hervorragende Leistungen bei Einbettungsaufgaben auszeichnet.
Kombinationsstrategien und ihre Auswirkungen
Wir experimentieren mit verschiedenen Kombinationsstrategien und stellen fest, dass eine gewichtete Summe der beiden Ähnlichkeiten, die separat auf RW und HS berechnet werden (bezeichnet als MoEE (Summe)), oft die besten Ergebnisse liefert. Diese gewichtete Summe vermeidet die direkte Fusion und Angleichung der beiden unterschiedlichen Einbettungstypen und ermöglicht es uns, ausgabeabhängige Informationen mit eingabesensitiven Merkmalen auszubalancieren.
Evaluierung und Ergebnisse
Wir führen umfangreiche Evaluierungen von MoEE auf dem Massive Text Embedding Benchmark (MTEB) durch, der eine breite Palette von Aufgaben zur Bewertung der Einbettungsqualität umfasst. MoEE übertrifft durchweg Einbettungen, die ausschließlich aus HS oder den RW von MoE abgeleitet werden. Insbesondere erzielt MoEE (Summe) signifikante Verbesserungen bei Aufgaben, die ein tiefgreifendes Verständnis der Eingabe erfordern, wie z. B. semantische Textähnlichkeit, Klassifizierung und Clustering.
Schlussfolgerung und Ausblick
Unsere Ergebnisse zeigen, dass MoE LLMs ein ungenutztes Potenzial als effektive Einbettungsmodelle bergen. Die Kombination von Routing-Gewichten und Hidden States in Form von MoEE ermöglicht es, die Stärken beider Repräsentationen zu nutzen und so die Qualität von LLM-basierten Einbettungen ohne zusätzlichen Trainingsaufwand deutlich zu verbessern.
Zukünftige Forschung könnte sich auf die Erforschung weiterer Kombinationsstrategien und die Anwendung von MoEE auf andere Aufgabenbereiche konzentrieren. Darüber hinaus wäre es interessant zu untersuchen, inwieweit sich die Erkenntnisse aus dieser Arbeit auf andere MoE-basierte Architekturen übertragen lassen.
Bibliographie
https://paperswithcode.com/paper/your-mixture-of-experts-llm-is-secretly-an
https://openreview.net/pdf/87cdb9790a5a1caee481dd2a69ae962941a62eba.pdf
https://arxiv.org/html/2410.10814v1
https://deeplearn.org/arxiv/536218/your-mixture-of-experts-llm-is-secretly-an-embedding-model-for-free
https://twitter.com/gm8xx8/status/1846060687841275926
https://huggingface.co/papers
https://arxiv.org/list/cs/recent
https://github.com/mlabonne/llm-course
https://colmweb.org/AcceptedPapers.html
https://github.com/dair-ai/ML-Papers-of-the-Week
