Neues "Überblick"-Feature für Leaderboards: Eine detaillierte Analyse

Einführung

Die Large Model Systems Organization (LMSYS) hat kürzlich ein neues "Überblick"-Feature für ihre Leaderboards eingeführt, das eine ganzheitlichere Bewertung von KI-Modellen ermöglicht. Diese Erweiterung zielt darauf ab, die Ranglisten der Modelle nach verschiedenen Kategorien wie Codierung, Mathematik, schwierige Aufforderungen und mehr zugänglicher zu machen. Diese Entwicklung ist ein bedeutender Schritt in der Welt der Künstlichen Intelligenz (KI) und wirft Licht auf die kontinuierlichen Bemühungen zur Verbesserung der Bewertung und Transparenz von KI-Modellen.

Die Notwendigkeit einer ganzheitlicheren Bewertung

Traditionelle Benchmarks wie MMLU haben sich als nützlich erwiesen, jedoch oft versagt, die Nuancen menschlicher Präferenzen und die offene Natur realer Gespräche vollständig zu erfassen. Die LMSYS-Community vertritt die Ansicht, dass der Einsatz von Chat-Modellen in realen Umgebungen, um Feedback von Benutzern zu erhalten, die direktesten Signale liefert. Dies führte zur Einführung der Chatbot Arena im Mai, einer offenen Evaluierungsplattform, die es Benutzern ermöglicht, die fortschrittlichsten Sprachmodelle (LLMs) zu testen und zu bewerten.

Einführung neuer Modelle

Seit dem Start der Chatbot Arena wurden über 45 Modelle bereitgestellt und mehr als 130.000 gültige Stimmen von Benutzern gesammelt. Im November wurden rekordverdächtige neun neue Modelle mit Größen von 7B bis 70B eingeführt, darunter auch proprietäre Modelle. Diese neuen Modelle haben über 25.000 Stimmen gesammelt und zeigen vielversprechende Leistungen, die die Lücke zwischen proprietären und offenen Modellen verringern.

Die neuesten Leaderboards

Das neue "Überblick"-Feature für die Leaderboards ermöglicht es Benutzern nun, die Ranglisten der Modelle nach verschiedenen Kategorien zu überprüfen. Zu den neuesten Spitzenmodellen gehört "xAI’s Grok-2", das in allen Kategorien wie Mathematik, schwierige Aufforderungen, Codierung und Befolgen von Anweisungen ganz oben steht.

Beispielhafte Modelle und ihre Bewertungen

- GPT-4-Turbo: Arena Elo Bewertung 1217, Proprietär - Claude-2.1: Arena Elo Bewertung 1118, Proprietär - Tulu-2-DPO-70B: Arena Elo Bewertung 1105, AI2 ImpACT Low-risk - Yi-34B-Chat: Arena Elo Bewertung 1102, Yi License - OpenChat-3.5: Arena Elo Bewertung 1077, Apache-2.0

Verbesserungen bei kleineren Modellen

Auch 7B-Modelle haben signifikante Verbesserungen gezeigt. Durch das Feintuning des 7B Mistral-Modells sind beeindruckende Modelle wie Zephyr, OpenChat-3.5, Starling-lm-7b-alpha und OpenHermes-2.5-Mistral-7b entstanden, die trotz ihrer kleineren Größe eine beeindruckende Leistung zeigen.

Unterschiede zwischen GPT-4-Versionen

Seit dem Update von OpenAIs GPT-4 im Juni stellt sich die Frage, ob es Leistungsunterschiede zwischen den Versionen GPT-4-0314 und GPT-4-0613 gibt. Die Community hat signifikante Unterschiede zwischen den beiden Versionen festgestellt. Um dies genauer zu untersuchen, wurde die Version GPT-4-0314 wieder online gebracht, um neue Stimmen zu sammeln und direkt mit der neueren Version zu vergleichen.

Übergang von Elo- zu Bradley-Terry-Modell

Zu Beginn der Arena wurde das Elo-Bewertungssystem verwendet, um Modelle zu bewerten. Dieses System hat sich als nützlich erwiesen, um paarweise menschliche Präferenzen in Elo-Bewertungen zu transformieren. Um jedoch die Qualität der Bewertungen und deren Konfidenzintervalle zu verbessern, wurde auf das Bradley-Terry (BT)-Modell umgestellt. Dieses Modell ermöglicht die Berechnung der Modellbewertungen durch Maximum-Likelihood-Schätzung (MLE), was zu stabileren Bewertungen und präziseren Konfidenzintervallen führt.

Fazit

Die Einführung des "Überblick"-Features für die Leaderboards bei LMSYS markiert einen bedeutenden Fortschritt in der KI-Bewertung. Durch die ganzheitlichere Bewertung und die Einführung neuer Modelle wird ein besseres Verständnis dafür geschaffen, wie diese Modelle in realen Szenarien funktionieren. Die Umstellung auf das Bradley-Terry-Modell bietet zudem stabilere und präzisere Bewertungen. Bibliographie: https://chat.lmsys.org/ https://lmsys.org/blog/2023-12-07-leaderboard/ https://x.com/lmsysorg?lang=ta https://twitter.com/lmsysorg?lang=de https://www.reddit.com/r/LocalLLaMA/comments/1ean2i6/the_final_straw_for_lmsys/ https://www.linkedin.com/pulse/hr-ai-article-2-leaderboards-tim-gregory-6ylce https://x.com/lmsysorg/highlights https://arxiv.org/html/2403.04132v1