Ausrichtungsdefizite bei LLM-Richtern Untersuchung und Erkenntnisse
Versagen der LLM-Richter in der Alignment-Bewertung: Eine tiefgründige Analyse
Die Veröffentlichung von ChatGPT im November 2022 löste eine Welle des Interesses an Post-Training und eine Flut neuer Präferenzoptimierungsmethoden (PO) aus. Diese Methoden behaupten, eine überlegene Ausrichtung zu haben, da sie besser mit menschlichen paarweisen Präferenzen übereinstimmen, die oft von LLM-Richtern gemessen werden. In dieser Arbeit versuchen Forscher zu beantworten, ob die Präferenzen von LLM-Richtern zu Fortschritten bei anderen, konkreteren Metriken der Ausrichtung führen und wenn nicht, warum nicht.
Einführung und Ziele der Studie
Die Forscher definierten eine konkrete Metrik für die Ausrichtung und führten SOS-Bench ein, den größten standardisierten, reproduzierbaren LLM-Meta-Benchmark bis heute. Sie fanden heraus, dass:
- LLM-Urteile korrelieren nicht mit konkreten Maßnahmen zur Sicherheit, Weltwissen und Befolgung von Anweisungen. - LLM-Richter haben mächtige implizite Vorurteile und priorisieren Stil über Faktizität und Sicherheit. - Die betreute Feinabstimmung (SFT) nach dem Training und nicht die PO-Phase hat den größten Einfluss auf die Ausrichtung, wobei Datenskalierung und Vielfalt der Aufforderungen die treibenden Faktoren sind.Herausforderungen und Erkenntnisse
Mit der Veröffentlichung neuer LLMs wie OpenAI o1 und QWEN 2.5 fast wöchentlich sind robuste Benchmarks, die lokal ausgeführt werden können, von entscheidender Bedeutung. LLM-Richter wie Alpaca-Eval, MT-Bench und Arena-Hard-Auto werden am häufigsten verwendet, jedoch weisen sie versteckte Vorurteile auf. Theoretisch sollen LLM-Richter unparteiisch sein, in der Praxis gewichten sie jedoch einige Bewertungskriterien viel höher als andere. Besonders achten sie mehr auf stilistische Hinweise (wie einen freundlichen Ton) als auf Richtigkeit und Sicherheit. Dieses Verhalten wird als "stilistisches Belohnungshacking" bezeichnet.
Einführung von SOS-Bench
Um diesem Problem entgegenzuwirken, wurde SOS-Bench, ein neuer Meta-Benchmark, eingeführt. Er ist zwei Größenordnungen größer als LLM-Richter-Benchmarks und hat echte Maßstäbe für Hilfsbereitschaft, Harmlosigkeit und Ehrlichkeit. Die Bewertung von über 30 Feinabstimmungen von LLAMA-3-8B und Mistral-7B auf SOS-Bench zeigt, dass mehr in der Ausrichtung mehr ist; die Skalierung der Daten in der SFT-Phase ist der beste Prädiktor für verbesserte Ausrichtung.
Methodik und Analyse
SOS-Bench ist der größte standardisierte, reproduzierbare LLM-Meta-Benchmark bis heute und wurde entwickelt, um die Korrelation zwischen LLM-Urteilen und konkreten Maßnahmen zur Sicherheit, Weltwissen und Befolgung von Anweisungen zu untersuchen. Die Forscher fanden heraus, dass LLM-Richter mächtige implizite Vorurteile haben und Stil über Faktizität und Sicherheit priorisieren. Die betreute Feinabstimmung (SFT) nach dem Training, nicht die PO-Phase, hat den größten Einfluss auf die Ausrichtung, wobei Datenskalierung und Vielfalt der Aufforderungen die treibenden Faktoren sind.
Ergebnisse und Implikationen
Die Ergebnisse zeigen, dass LLM-Urteile nicht mit konkreten Maßnahmen zur Sicherheit, Weltwissen und Befolgung von Anweisungen korrelieren. LLM-Richter haben mächtige implizite Vorurteile und priorisieren Stil über Faktizität und Sicherheit. Die betreute Feinabstimmung (SFT) nach dem Training, nicht die PO-Phase, hat den größten Einfluss auf die Ausrichtung, wobei Datenskalierung und Vielfalt der Aufforderungen die treibenden Faktoren sind.
Fazit und zukünftige Forschung
Die Studie hebt die Notwendigkeit hervor, die Präferenzen von LLM-Richtern kritisch zu hinterfragen und zu untersuchen, ob sie tatsächlich zu Fortschritten bei konkreten Maßnahmen der Ausrichtung führen. Die Einführung von SOS-Bench bietet eine neue Möglichkeit, diese Fragen zu untersuchen und die Ausrichtung großer Sprachmodelle zu verbessern. Zukünftige Forschung sollte sich darauf konzentrieren, die impliziten Vorurteile von LLM-Richtern weiter zu untersuchen und Strategien zu entwickeln, um diese zu minimieren.
