Lernfähigkeit von Sprachmodellen in der kompositionellen Generalisierung
Können Modelle Skill-Komposition aus Beispielen lernen?
Mit der fortschreitenden Entwicklung großer Sprachmodelle (LLMs) rückt ihre Fähigkeit zur kompositionellen Generalisierung – die Fähigkeit, gelernte Fähigkeiten auf neuartige Weise zu kombinieren, die während des Trainings nicht vorkamen – zunehmend in den Fokus der Aufmerksamkeit. Diese Art der Generalisierung, insbesondere in Szenarien, die über die Trainingsdaten hinausgehen, ist auch für die Erforschung der Sicherheit und Ausrichtung von KI von großem Interesse.
Eine aktuelle Studie stellte die SKILL-MIX-Evaluierung vor, bei der Modelle die Aufgabe haben, einen kurzen Absatz zu verfassen, der die Anwendung eines bestimmten k-Tupels von Sprachfertigkeiten demonstriert. Während kleinere Modelle schon bei k=3 Schwierigkeiten hatten, Texte zu komponieren, zeigten größere Modelle wie GPT-4 eine recht gute Leistung bei k=5 und 6.
In einer neuen Forschungsarbeit wird nun ein ähnlicher Ansatz wie bei SKILL-MIX verwendet, um die Fähigkeit kleinerer Modelle zu untersuchen, kompositionelle Generalisierung aus Beispielen zu lernen. Unter Verwendung eines breiten Spektrums an Sprachfertigkeiten – darunter Rhetorik, Literatur, Argumentation, Theory of Mind und gesunder Menschenverstand – wurde GPT-4 eingesetzt, um Textbeispiele zu generieren, die zufällige Teilmengen von k Fertigkeiten aufweisen. Das anschließende Finetuning von Modellen mit 7B und 13B Parametern auf diesen kombinierten Skill-Texten für steigende Werte von k ergab folgende Erkenntnisse:
Wichtige Erkenntnisse des Finetunings
Das Training mit Kombinationen von k=2 und 3 Fähigkeiten führt zu spürbaren Verbesserungen der Fähigkeit, Texte mit k=4 und 5 Fähigkeiten zu verfassen, obwohl die Modelle während des Trainings nie solche Beispiele gesehen haben. Werden Fähigkeitenkategorien in Trainings- und Hold-out-Gruppen aufgeteilt, verbessern sich die Modelle beim Verfassen von Texten mit Hold-out-Fähigkeiten während des Tests signifikant, obwohl sie während des Finetunings nur Trainingsfähigkeiten gesehen haben. Dies zeigt die Wirksamkeit des Trainingsansatzes auch bei bisher nicht bekannten Fähigkeiten.
Diese Studie legt nahe, dass die Einbeziehung von fähigkeitsreichem (potenziell synthetischem) Text in das Training die kompositionellen Fähigkeiten von Modellen erheblich verbessern kann. Die Ergebnisse dieser Forschungsarbeit haben wichtige Implikationen für die Entwicklung von LLMs, die in der Lage sind, über die Grenzen ihrer Trainingsdaten hinaus zu generalisieren und neue und kreative Lösungen für komplexe Probleme zu finden.
Weitere Forschungsperspektiven
Die Erforschung der kompositionellen Generalisierung in LLMs ist noch lange nicht abgeschlossen. Zukünftige Arbeiten könnten sich auf die Entwicklung robusterer Evaluierungsmetriken, die Untersuchung verschiedener Trainingsmethoden und die Erforschung der Grenzen der kompositionellen Generalisierung in LLMs konzentrieren. Das Verständnis der Faktoren, die zur kompositionellen Generalisierung beitragen, wird für die Entwicklung von KI-Systemen von entscheidender Bedeutung sein, die in der Lage sind, menschenähnliche Argumentations- und Problemlösungsfähigkeiten zu erreichen.
