KI-Benchmarks im Realitätstest: AI2 WildBench und Chatbot Arena verändern die Leistungsmessung

Künstliche Intelligenz (KI) und insbesondere Großmodelle der Sprachverarbeitung (Large Language Models, LLMs) entwickeln sich rasant weiter und finden zunehmend Anwendung in verschiedenen Bereichen der Gesellschaft und Technik. Im Zuge dieser Entwicklung entstehen neue Herausforderungen und Möglichkeiten, die Qualität und Leistungsfähigkeit dieser Systeme zu bewerten und zu vergleichen. In diesem Kontext hat das AI2-Institut mit der Einführung von AI2 WildBench einen neuen Ansatz zur Bewertung von LLMs vorgestellt. Dieser Benchmark zielt darauf ab, Modelle mit anspruchsvollen Aufgaben zu konfrontieren, die von echten Nutzern stammen und damit die Praxisnähe der Tests sicherstellen.

AI2 WildBench umfasst eine Sammlung von 1.024 schwierigen Aufgaben, die von realen Nutzern abgeleitet wurden. Diese decken gängige Anwendungsfälle wie Fehlerbeseitigung in Codes, kreatives Schreiben und Datenanalyse ab. Ein besonderes Merkmal dieses Benchmarks ist das AutoEval-System mit Checklisten, das eine spezifische Liste von Bewertungsfragen für jede Aufgabe bereitstellt. Dies fördert eine interpretierbare und leicht überprüfbare Bewertung, die über die einfache Auswahl zwischen Optionen A und B hinausgeht.

Weiterhin wird bei AI2 WildBench ein Strafpunktesystem für die Länge der Ausgaben der Modelle eingeführt, um einer Bevorzugung längerer Texte entgegenzuwirken. Zusätzlich werden die Aufgaben in 12 Kategorien eingeteilt, um eine detaillierte Analyse der leistungsspezifischen Fähigkeiten der LLMs zu ermöglichen.

Ein weiterer Vorteil von AI2 WildBench ist dessen Dynamik. Der Benchmark wird nicht als statischer Datensatz betrachtet, sondern soll kontinuierlich mit neuen Beispielen und aktualisierten Bewertungsmethoden erweitert werden, basierend auf dem Feedback der Community. Um die Qualität der Bewertungen sicherzustellen, werden menschliche Bewertungen gesammelt und es ist geplant, Experten auf verschiedenen Gebieten zu rekrutieren.

Die Einführung von AI2 WildBench stellt einen wichtigen Schritt in der Entwicklung von Benchmarks dar, die auf die Bedürfnisse realer Anwendungsfälle eingehen und somit die Relevanz und Zuverlässigkeit von KI-Evaluationen verbessern. Dies ist von besonderer Bedeutung, da die Kostenunterschiede zwischen dem Betrieb verschiedener LLMs enorm sein können, und die Auswahl eines weniger kostspieligen, aber dennoch effektiven Modells für eine bestimmte Aufgabe erhebliche finanzielle Einsparungen für Unternehmen bedeuten kann.

Zusätzlich zu AI2 WildBench gibt es weitere Initiativen wie die Chatbot Arena, die von LMSYS ORG entwickelt wurde. Diese Plattform bietet eine Benchmarking-Umgebung für LLMs, in der Modelle in anonymen und zufälligen Wettkämpfen bewertet werden, ähnlich dem ELO-Bewertungssystem, das im Schach und anderen kompetitiven Spielen verwendet wird. Nutzer können mit zwei anonymen Modellen gleichzeitig chatten und dann für das Modell abstimmen, das sie für besser halten. Die Arena wird ständig mit neuen Modellen aktualisiert und bietet regelmäßige Leaderboards, die auf Community-Feedback basieren.

Der Bedarf an solchen Benchmarks zeigt sich auch in den Aktivitäten von Unternehmen wie Mindverse, das als deutsches KI-Unternehmen Lösungen wie Chatbots, Voicebots und AI-Suchmaschinen entwickelt. Die Möglichkeit, verschiedene LLMs effektiv zu vergleichen, ist für solche Unternehmen von entscheidender Bedeutung, um maßgeschneiderte Lösungen anbieten zu können, die sowohl wirtschaftlich als auch technisch optimiert sind.

Zusammenfassend lässt sich sagen, dass Benchmarks wie AI2 WildBench und Chatbot Arena wesentliche Instrumente darstellen, um die Entwicklung und den Einsatz von KI-Technologien voranzutreiben. Sie ermöglichen es, die Leistungsfähigkeit von LLMs in realen Anwendungsfällen zu messen und tragen damit zu einer fundierten Entscheidungsfindung bei der Auswahl und dem Einsatz dieser Technologien bei.

Quellen:
1. AI2. (2024). Introducing AI2 𝕎𝕚𝕝𝕕𝔹𝕖𝕟𝕔𝕙. Abgerufen von https://hf.co/spaces/allenai/WildBench
2. Antich, A. (2024). Benchmarking different LLMs. LinkedIn. Abgerufen von https://www.linkedin.com/posts/aantich_ai-aibenchmark-llmbenchmark-activity-7167909134875500544-G-6c
3. LMSYS ORG. (2023). Chatbot Arena: Benchmarking LLMs in the Wild with Elo Ratings. Abgerufen von https://lmsys.org/blog/2023-05-03-arena/
4. Zheng, L., et al. (2024). Judging LLM-as-a-judge with MT-Bench and Chatbot Arena. arXiv. Abgerufen von https://arxiv.org/html/2402.08178v1