Integration von Bewertungen und Präferenzen im Reward Modeling: Der HelpSteer2-Preference Ansatz
Neue Horizonte im Reward Modeling: HelpSteer2-Preference kombiniert Bewertungen mit Präferenzen
In der Welt der Künstlichen Intelligenz (KI) spielen Reward Models eine entscheidende Rolle, um Modelle auf das Befolgen von Anweisungen auszurichten. Traditionell wurden diese Modelle nach zwei gängigen Paradigmen trainiert: dem Bradley-Terry-Stil und dem Regressions-Stil. Bisher gab es jedoch keine eindeutigen Beweise dafür, dass einer der beiden Ansätze dem anderen überlegen ist, wenn die Datenlage vergleichbar ist. Dies liegt vor allem daran, dass diese Ansätze Daten in unterschiedlichen (und inkompatiblen) Formaten benötigen, was bedeutet, dass in den bestehenden öffentlichen Datensätzen keine adäquat abgeglichenen Daten verfügbar sind.
Eine neue Forschungsarbeit mit dem Titel "HelpSteer2-Preference: Complementing Ratings with Preferences" widmet sich diesem Problem und stellt einen neuartigen Ansatz vor. Das Forschungsteam hinter der Arbeit hat Präferenzannotationen (für das Bradley-Terry-Training) veröffentlicht, um die bestehenden Bewertungen (für das Regressions-Training) im HelpSteer2-Datensatz zu ergänzen. Um die Interpretierbarkeit der Daten zu verbessern, werden die Präferenzannotationen von Menschen verfassten Begründungen begleitet. Anhand dieser Daten führt das Team den ersten direkten Vergleich von Bradley-Terry- und Regressionsmodellen durch, bei dem die Datenlage vergleichbar ist.
Kombination von Bradley-Terry und Regressionsmodellen
Basierend auf den Erkenntnissen aus diesem Vergleich schlägt die Arbeit einen neuartigen Ansatz vor, der Bradley-Terry- und Regressionsmodelle für das Reward Modeling kombiniert. Ein Llama-3.1-70B-Instruct-Modell, das mit diesem Ansatz abgestimmt wurde, erreichte einen Wert von 94,1 auf der RewardBench-Benchmark und positionierte sich damit an die Spitze von über 140 Reward Models (Stand: 1. Oktober 2024). Die Arbeit demonstriert auch die Effektivität dieses Reward Models bei der Ausrichtung von Modellen auf die Befolgung von Anweisungen im Rahmen des Reinforcement Learning from Human Feedback (RLHF).
Offene Verfügbarkeit für die Forschungsgemeinschaft
Sowohl der Datensatz als auch das trainierte Reward Model wurden der Forschungsgemeinschaft zur Verfügung gestellt. Der Datensatz ist unter der CC-BY-4.0-Lizenz auf Hugging Face verfügbar, während das trainierte Reward Model ebenfalls auf Hugging Face zu finden ist.
Ausblick und Bedeutung
Die Ergebnisse dieser Forschungsarbeit sind vielversprechend und eröffnen neue Möglichkeiten für das Reward Modeling. Durch die Kombination von Bradley-Terry- und Regressionsmodellen können KI-Systeme effektiver auf die Befolgung von Anweisungen ausgerichtet werden, was zu einer verbesserten Leistung und einer größeren Zuverlässigkeit führt.
Glossar
- Reward Model: Ein Modell, das die Qualität von Aktionen oder Ausgaben eines KI-Agenten bewertet.
- Bradley-Terry-Modell: Ein statistisches Modell, das für paarweise Vergleiche verwendet wird, um Präferenzen zu modellieren.
- Regressionsmodell: Ein statistisches Modell, das die Beziehung zwischen einer abhängigen Variable und einer oder mehreren unabhängigen Variablen beschreibt.
- HelpSteer2-Datensatz: Ein Datensatz für das Training und die Evaluierung von Reward Models.
- RLHF (Reinforcement Learning from Human Feedback): Ein Ansatz, bei dem KI-Agenten durch Feedback von Menschen lernen, optimale Aktionen auszuführen.
