Präzisierte Kreditzuweisungen für Sprachmodelle durch die CoRT-Methode

Präzisere Belohnungssignale für Sprachmodelle: Die CoRT-Methode im Detail

Die Entwicklung von Künstlicher Intelligenz, insbesondere im Bereich der Large Language Models (LLMs), schreitet kontinuierlich voran. Ein zentraler Aspekt bei der Optimierung dieser Modelle ist das Reinforcement Learning (RL), welches die Ausrichtung der Modellantworten an spezifischen Kriterien ermöglicht. Eine aktuelle Entwicklung, die in diesem Kontext besondere Aufmerksamkeit erregt, ist die Einführung der CoRT-Methode (Counterfactual Replay for Token-level credit weighting). Diese Methode stellt einen Paradigmenwechsel in der Art und Weise dar, wie Belohnungssignale auf die einzelnen Komponenten von generierten Texten angewendet werden.

Die Herausforderung der uniformen Belohnungsverteilung

Im Bereich des Reinforcement Learning mit Rubriken, wie es beispielsweise in GRPO-Pipelines (Generative Reinforcement Learning with Policy Optimization) praktiziert wird, besteht eine grundlegende Herausforderung: Detaillierte, auf Rubriken basierende Bewertungen, die Aspekte wie Korrektheit, Formatierung oder semantische Kohärenz einer Antwort umfassen, werden traditionell zu einem einzigen, skalaren Belohnungswert zusammengefasst. Dieser Wert wird anschließend uniform auf alle Tokens der generierten Antwort angewendet. Das bedeutet, dass jedes Wort oder Satzzeichen in einer Antwort den gleichen Anteil an der Gesamtbelohnung erhält, unabhängig davon, welchen spezifischen Beitrag es zu der Erfüllung oder Nichterfüllung der jeweiligen Rubrik-Kriterien leistet.

Dieses Vorgehen birgt eine inhärente Ineffizienz. Wenn beispielsweise ein einziger Formatierungsfehler in einer ansonsten perfekten Antwort zu einer Abwertung führt, wird diese negative Belohnung auf alle Tokens der gesamten Antwort verteilt. Es fehlt an einem expliziten Mechanismus zur Kreditzuweisung innerhalb der Antwort, selbst wenn verschiedene Kriterien an unterschiedliche Textabschnitte, Formatierungsentscheidungen oder semantische Ausdrücke gebunden sind. Dies kann die Lernprozesse des Modells erschweren, da es schwierig wird, präzise zu identifizieren, welche spezifischen Token oder Token-Sequenzen für positive oder negative Bewertungen verantwortlich sind.

CoRT: Eine Lösung durch Token-Ebene-Kreditzuweisung

Hier setzt die CoRT-Methode an. CoRT schlägt eine Token-Ebene-Kreditgewichtung vor, die speziell für rubrik-konditioniertes GRPO entwickelt wurde. Anstatt ein separates Modell zur Token-Bewertung zu trainieren, nutzt CoRT ein Verfahren namens "Counterfactual Replay". Bei diesem Ansatz wird dieselbe Stichprobenantwort unter zwei verschiedenen Bedingungen neu bewertet:

• Originaler, rubrik-konditionierter Prompt: Die Antwort wird im Kontext des ursprünglichen Prompts und der zugehörigen Rubrik-Kriterien bewertet.
• Kriterienfreier Prompt: Die Antwort wird unter einem angepassten Prompt bewertet, der keine spezifischen Rubrik-Kriterien enthält.

Durch den Vergleich der Log-Likelihoods der Tokens unter diesen beiden Bedingungen können Token-spezifische Kontraste ermittelt werden. Diese Kontraste dienen als Gewichtungsfaktoren, die anzeigen, inwieweit ein einzelnes Token zur Erfüllung oder Verletzung der Rubrik-Kriterien beiträgt. Im Wesentlichen ermöglicht CoRT dem Modell, zu lernen, welche Teile einer generierten Antwort für welche Aspekte der Rubrik-Bewertung verantwortlich sind.

Messbare Verbesserungen und Kompatibilität

Die Einführung von CoRT hat zu signifikanten Verbesserungen geführt. Berichte zeigen einen durchschnittlichen Gewinn von 4,4 Prozentpunkten gegenüber den herkömmlichen GRPO-Baselines. Diese Verbesserung wurde über verschiedene instruktionsgesteuerte Modelle und Belohnungsgranularitäten hinweg beobachtet. Die Experimente umfassten Modelle wie Qwen3-4B-Instruct, Qwen2.5-7B-Instruct und Qwen3-14B, die auf verschiedenen Benchmarks wie IFBench, IFEval, MultiDimIF und AdvancedIF getestet wurden. Darüber hinaus wurde die Kompatibilität von CoRT mit bestehenden Reinforcement Learning Frameworks wie DAPO (Direct Advantage Policy Optimization) und GSPO (Generative Sample Policy Optimization) demonstriert.

Diese Ergebnisse deuten darauf hin, dass CoRT eine effektive Methode darstellt, um die Effizienz des Reinforcement Learnings für Sprachmodelle zu steigern, indem es ein präziseres und detaillierteres Feedback auf Token-Ebene ermöglicht. Dies ist insbesondere für B2B-Anwendungen relevant, bei denen die Qualität und Präzision von KI-generierten Inhalten von entscheidender Bedeutung sind.

Implikationen für die Praxis

Für Unternehmen, die auf Large Language Models setzen – sei es für die Content-Erstellung, Kundenkommunikation oder andere innovative Anwendungen – bietet CoRT die Möglichkeit, die Leistungsfähigkeit und Zuverlässigkeit ihrer KI-Systeme weiter zu optimieren. Eine präzisere Kreditzuweisung auf Token-Ebene kann zu folgenden Vorteilen führen:

• Verbesserte Genauigkeit und Relevanz: Modelle können besser lernen, welche spezifischen Formulierungen oder Informationen zu einer besseren Erfüllung der gewünschten Kriterien führen.
• Effizienteres Training: Die feinere Granularität der Belohnungssignale kann den Trainingsprozess beschleunigen und die Konvergenz verbessern.
• Reduzierung unerwünschter Ausgaben: Durch die gezielte Bestrafung von Token, die zu Fehlern oder unerwünschten Eigenschaften führen, können Modelle lernen, diese zukünftig zu vermeiden.
• Anpassungsfähigkeit an komplexe Anforderungen: Insbesondere in Szenarien mit komplexen und mehrschichtigen Bewertungsrubriken kann CoRT die Anpassung der Modelle an spezifische Unternehmensanforderungen erleichtern.

Die CoRT-Methode repräsentiert somit einen wichtigen Schritt in der Entwicklung von KI-Modellen, die nicht nur in der Lage sind, komplexe Anweisungen zu befolgen, sondern dies auch mit einer bisher unerreichten Präzision auf der Ebene einzelner Sprachelemente tun. Für Anwender und Entwickler im B2B-Bereich bedeutet dies ein höheres Potenzial für maßgeschneiderte und qualitativ hochwertige KI-Lösungen.

Bibliographie

- Zhang, Bo-Wen et al. (2026). CoRT: Counterfactual Replay for Token-Level Rubric-Guided Policy Optimization. arXiv. - Dufresne, Alexis (2026). CoRT adds token-level credit to GRPO for a 4.4-point gain. AI Weekly. - Guo, Lan-Zhe et al. (2026). CoRT: Counterfactual Replay for Token-Level Rubric-Guided Policy Optimization. alphaXiv. - Hugging Face (2026). Paper page - CoRT: Counterfactual Replay for Token-Level Rubric-Guided Policy Optimization. - alphaXiv (2026). CoRT: Counterfactual Replay for Token-Level Rubric-Guided Policy Optimization.