Große Sprachmodelle im Einklang mit menschlichen Präferenzen

In den letzten Jahren hat sich die Entwicklung von Großen Sprachmodellen (Large Language Models, LLMs) rasant beschleunigt und bietet beeindruckende Möglichkeiten für die Generierung von Texten, die Unterstützung bei der Entscheidungsfindung und die Automatisierung von Aufgaben im Bereich der natürlichen Sprachverarbeitung (Natural Language Processing, NLP). Diese Modelle sind aufgrund ihres Umfangs und ihrer Komplexität in der Lage, eine Vielzahl von Textarten zu generieren, die von kreativem Schreiben bis hin zur Codeerstellung reichen. Allerdings besteht eine kontinuierliche Herausforderung darin, die von diesen Modellen generierten Inhalte mit den Erwartungen und Präferenzen menschlicher Nutzer in Einklang zu bringen.

Bisher lag der Schwerpunkt der Forschung hauptsächlich auf der Ausrichtung dieser Modelle während der Trainingsphase. Techniken wie das Reinforcement Learning with Human Feedback (RLHF) wurden eingesetzt, um Modelle darauf zu trainieren, menschliche Präferenzen besser zu verstehen und umzusetzen. Die Effektivität dieser Methoden ist allerdings nicht immer klar. Einige der Grenzen dieser Ansätze umfassen die Unfähigkeit, mehrere benutzerdefinierte Belohnungsfunktionen zu integrieren, die Abhängigkeit von der Sichtweise der Entwickler auf universelle und statische Prinzipien sowie die Frage der Zuverlässigkeit solcher Ansätze, beispielsweise ihre Anfälligkeit für sogenanntes "Jail-Breaking" selbst nach Sicherheitstrainings.

Um diesen Herausforderungen zu begegnen, wurde das Konzept der Decoding-Time Alignment (DeAL) vorgeschlagen. DeAL ermöglicht es, dass Nutzer Belohnungsfunktionen anpassen und somit eine Ausrichtung von LLMs in Echtzeit während des Decodierungsprozesses erreichen können. Decoding wird hierbei als ein von Heuristiken geleiteter Suchprozess angesehen, der eine Vielzahl von Ausrichtungszielen ermöglicht. Experimente mit programmatischen Einschränkungen wie Schlüsselwort- und Längenbeschränkungen, die weitgehend in der Ära vor den LLMs untersucht wurden, sowie abstraktere Ziele wie Harmlosigkeit und Hilfsbereitschaft, die in der Ära nach den LLMs vorgeschlagen wurden, zeigen, dass DeAL in der Lage ist, fein abgestimmte Kompromisse zu handhaben, die Einhaltung von Ausrichtungszielen zu verbessern und verbleibende Lücken in LLMs anzugehen.

Ein weiterer Ansatz, der in der Forschung vorgestellt wurde, ist das Decoding-time Realignment (DeRa). DeRa ist eine Methode, um verschiedene Stärken der Regulierung in bereits ausgerichteten Modellen zu erkunden und zu bewerten, ohne dass eine erneute Schulung erforderlich ist. Dies ermöglicht es den Nutzern, den Grad der Ausrichtung zu kontrollieren und einen reibungslosen Übergang zwischen nicht ausgerichteten und ausgerichteten Modellen zu schaffen. DeRa verbessert auch die Effizienz der Hyperparameterabstimmung, indem es die Identifizierung wirksamer Regulierungsstärken mit einem Validierungsdatensatz ermöglicht.

Ein zusätzlicher Aspekt, der in der Forschung Beachtung findet, ist die Ausrichtung von LLMs an vertrauenswürdigen Quellen. Große Sprachmodelle werden auf Web-Skalen-Korpora trainiert, die zwangsläufig widersprüchliche Fakteninformationen von Quellen mit unterschiedlicher Zuverlässigkeit enthalten. In diesem Kontext wurde ein Konzept namens Trusted Source Alignment (TSA) vorgeschlagen, bei dem es darum geht, die Tendenz eines Modells zu messen, sich im Angesicht von Unsicherheit oder Kontroversen an Inhalten zu orientieren, die von vertrauenswürdigen Verlagen produziert wurden.

Zusammenfassend lässt sich sagen, dass die Ausrichtung von LLMs an menschlichen Präferenzen ein komplexes Feld ist, das weiterhin aktive Forschung erfordert. Die Entwicklungen rund um DeAL, DeRa und TSA zeigen, dass es verschiedene Ansätze gibt, um die Ausrichtung dieser Modelle zu verbessern und zu personalisieren, wobei jeder Ansatz seine eigenen Stärken und Herausforderungen hat. Die zukünftige Forschung wird sich darauf konzentrieren müssen, diese Techniken weiter zu verfeinern und zu optimieren, um die Generierung von Inhalten durch LLMs noch stärker an den menschlichen Erwartungen auszurichten.

Als Plattform für KI-Inhalte, Bilder, Forschung und mehr unterstützt Mindverse die Forschung und Entwicklung kundenspezifischer Lösungen wie Chatbots, Voicebots, KI-Suchmaschinen, Wissenssysteme und vieles mehr. Die Erkenntnisse und Fortschritte in der Ausrichtung von LLMs fließen kontinuierlich in die Verbesserung von Diensten ein, die Mindverse seinen Nutzern bietet, um sicherzustellen, dass die KI-Partner den menschlichen Präferenzen so genau wie möglich entsprechen.

Quellen:
1. Liu, T., Guo, S., Bianco, L., Calandriello, D., Berthet, Q., Llinares, F., Hoffmann, J., Dixon, L., Valko, M., & Blondel, M. (2024). Decoding-time Realignment of Language Models. arXiv:2402.02992. https://doi.org/10.48550/arXiv.2402.02992
2. Wang, Y., Zhong, W., Li, L., Mi, F., Zeng, X., Huang, W., Shang, L., Jiang, X., & Liu, Q. (2023). Aligning Large Language Models with Human: A Survey. arXiv:2307.12966. https://doi.org/10.48550/arXiv.2307.12966
3. AK. (2024). Decoding-time Alignment for Large Language Models. Twitter. https://twitter.com/_akhaliq/status/1724271443586748918
4. AK. (2023). Trusted Source Alignment in Large Language Models. Twitter. https://huggingface.co/papers/2311.06697