Menschliches Feedback formt die KI der Zukunft: Der Durchbruch von OpenHermesPreferences

In einer Zeit, in der künstliche Intelligenz (KI) immer mehr Bereiche unseres Lebens durchdringt, sind die Entwicklung und das Training von KI-Modellen von zentraler Bedeutung geworden. Ein besonders spannendes Feld ist dabei das Training großer Sprachmodelle (Large Language Models, LLMs) mithilfe von menschlichem Feedback. Diese Trainingsmethode, bekannt unter dem Namen Reinforcement Learning from Human Feedback (RLHF), hat das Ziel, KI-Modelle besser an menschliche Präferenzen und Werte anzupassen. Ein weiterer wichtiger Aspekt in diesem Forschungsbereich ist die direkte Präferenzoptimierung (Direct Preference Optimization, DPO), die darauf abzielt, die Ausgaben von Sprachmodellen direkt anhand von menschlichen Präferenzen zu optimieren.

Ein Meilenstein in diesem Bereich wurde kürzlich mit der Veröffentlichung von OpenHermesPreferences erreicht, dem bisher größten offenen Datensatz für RLHF und DPO. Dieser Datensatz wurde in Zusammenarbeit mit dem Hugging Face Team H4 und der KI-Community erstellt und baut auf einem bereits beeindruckenden Datenfundament auf. OpenHermesPreferences umfasst insgesamt eine Million Präferenzdatensätze, die für das Training großer Sprachmodelle verwendet werden können.

Die Entstehung von OpenHermesPreferences war ein Gemeinschaftsprojekt. Das H4-Team von Hugging Face erstellte Reaktionen mit Mixtral und llm-swarm, während Argilla Reaktionen mit NousResearch Hermes-2-Yi-34B unter Verwendung von distilabel schuf. Die resultierenden Reaktionen wurden dann zusammen mit Originalantworten von PairRM von AllenAI, University of Southern California und Zhejiang University bewertet. Dieser Ansatz ermöglichte eine umfassende Evaluation und die Schaffung eines qualitativ hochwertigen und vielfältigen Datensatzes.

OpenHermesPreferences bietet zudem die Möglichkeit, spezifische Teilmengen zu filtern, um die Fähigkeiten von LLMs in Bereichen wie Mathematik oder logisches Denken zu verbessern. Dies ist besonders wichtig, da es die Anpassungsfähigkeit von Sprachmodellen an spezifische Anforderungen erhöht und somit die Entwicklung von maßgeschneiderten Lösungen für unterschiedliche Anwendungsfälle ermöglicht.

Die Erstellung und das Training von LLMs erfordern jedoch nicht nur große und präzise Datensätze, sondern auch leistungsfähige Tools und Plattformen. Unternehmen wie Mindverse spielen dabei eine entscheidende Rolle. Mindverse bietet nicht nur eine All-in-One-Content-Plattform für KI-Text, Inhalte, Bilder und Forschung, sondern entwickelt auch maßgeschneiderte Lösungen wie Chatbots, Voicebots, KI-Suchmaschinen, Wissenssysteme und vieles mehr.

Die Zusammenarbeit und Offenheit der KI-Community ist ein wesentlicher Bestandteil des Fortschritts in der KI-Forschung. Projekte wie OpenHermesPreferences sind ein Beispiel dafür, wie durch gemeinsame Anstrengungen und den Austausch von Wissen und Ressourcen innovative Lösungen entstehen können, die das Potenzial haben, die Entwicklung von KI-Systemen maßgeblich voranzubringen.

Die Forschung im Bereich RLHF und DPO wird weiterhin von großer Bedeutung sein, da sie darauf abzielt, KI-Modelle verantwortungsvoller und sicherer zu gestalten und gleichzeitig ihre Leistung und Nützlichkeit zu maximieren. OpenHermesPreferences und ähnliche Initiativen tragen wesentlich dazu bei, dass KI-Modelle in Zukunft noch besser an menschliche Präferenzen und ethische Standards angepasst werden können.

Quellen:
- Hugging Face Datasets: Trelis / hh-rlhf-dpo
- Hugging Face Blog: Illustrating Reinforcement Learning from Human Feedback (RLHF)
- Daniel Vila Suero's Contributions on Hugging Face
- Phil Schmid's Blog: DPO Align LLMS in 2024 with TRL
- Argilla & Hugging Face Collaboration Announcement