Neuer Ansatz zur Längenmodellierung in autoregressiven Modellen: Das Length Value Model (LenVM)

Die Fähigkeit, die Länge von generierten Sequenzen in Sprachmodellen präzise zu steuern und vorherzusagen, ist von entscheidender Bedeutung für die Effizienz und Leistungsfähigkeit moderner autoregressiver Modelle. Bisherige Ansätze zur Längenmodellierung operierten oft auf einer groben Sequenzebene, was die Möglichkeiten zur Feinabstimmung und Optimierung einschränkte. Ein neuer Forschungsbeitrag, das Length Value Model (LenVM), bietet hier einen innovativen, auf Token-Ebene basierenden Ansatz, der die Längenmodellierung als ein Wertschätzungsproblem formuliert.

Herausforderungen in der Längenmodellierung

Die Generierungslänge hat einen direkten Einfluss auf die Inferenzkosten und die Schlussfolgerungsleistung von autoregressiven Modellen. Insbesondere bei großen Sprachmodellen (LLMs) und multimodalen Modellen (VLMs) ist die präzise Kontrolle über die Ausgabelänge wünschenswert, um Ressourcen effizient zu nutzen und die Qualität der Ergebnisse zu optimieren. Aktuelle Methoden zur Längenprognose, wie sie in Studien von Qiu et al. (2024) oder Jin et al. (2023) beschrieben werden, verwenden oft leichte Hilfsmodelle, die die Länge statisch auf Basis des Eingabeprompts vorhersagen. Diese Ansätze weisen jedoch mehrere Limitationen auf:

• Instabilität bei stochastischer Generierung: In Szenarien wie dem Reinforcement Learning, bei dem ein einziger Prompt zu mehreren validen, aber stark variierenden Ausgabelängen führen kann, sind statische Vorhersagen unzuverlässig.
• Begrenzte Genauigkeit und Generalisierbarkeit: Modelle, die auf Benchmarks mit begrenzter Komplexität oder kurzen Sequenzen trainiert wurden, zeigen in komplexeren, realitätsnahen Umgebungen Leistungseinbußen.
• Zusätzliche Rechen- und Bereitstellungskosten: Separate Vorhersagemodelle erfordern zusätzliche Rechenressourcen und erhöhen den Implementierungsaufwand.

Diese Herausforderungen verdeutlichen den Bedarf an einem robusteren und flexibleren Rahmenwerk für die Längenmodellierung, das sowohl auf Token-Ebene agieren als auch dynamische Anpassungen während des Generierungsprozesses ermöglichen kann.

Das Length Value Model (LenVM): Ein detaillierter Einblick

LenVM adressiert die genannten Probleme durch einen neuartigen Ansatz, der die verbleibende Generierungslänge bei jedem Dekodierungsschritt als Wertschätzungsproblem behandelt. Die Kernidee besteht darin, jedem generierten Token eine konstante negative Belohnung zuzuweisen. Dadurch prognostiziert LenVM einen begrenzten, diskontierten Ertrag, der als Proxy für den verbleibenden Generierungshorizont dient.

Schlüsselmerkmale von LenVM

• Token-Level-Wertvorhersage: Im Gegensatz zu groben sequenzbasierten Zielen ermöglicht LenVM eine feinkörnige Längenmodellierung auf der Ebene einzelner Tokens. Dies erlaubt eine präzisere Kontrolle und Anpassung der Ausgabe.
• Annotationsfreies Vortraining: Die Methode nutzt die Skalierbarkeit von generierten Trajektorien, ohne dass manuelle Labels oder Annotationen erforderlich sind. Dies reduziert den Aufwand für die Datenerstellung erheblich.
• Multimodale Unterstützung: LenVM ist flexibel und funktioniert nahtlos sowohl mit rein sprachbasierten Modellen (LLMs) als auch mit Vision-Language-Modellen (VLMs), was seine Anwendbarkeit erweitert.
• Inferenzzeit-Steuerung: Während der Generierung können Nutzer die Länge dynamisch anpassen und einen Kompromiss zwischen Leistung und Effizienz eingehen. Dies ist besonders nützlich für Anwendungen, die spezifische Längenanforderungen haben.
• Umfassende Visualisierungstools: Interaktive Demos und Tools zur Wertinspektion ermöglichen ein detailliertes Verständnis der Generierungsdynamik auf Token-Ebene.

Architektur und Funktionsweise

Die Implementierung von LenVM erfolgt über ein vortrainiertes Wertmodell, das in moderne autoregressive Architekturen integriert wird. Es nutzt vorhandene Frameworks wie LlamaFactory für das Training und SGLang für die Inferenz. Der Prozess umfasst:

1. Datengenerierung: Skripte und Pipelines zur Vorbereitung von Datensätzen (z. B. DeepMath-103k, OpenCodeReasoning-2, Wildchat, R1-Onevision) und zur Stichprobenentnahme von Trajektorien unter Verwendung eines SGLang-Servers.
2. LenVM-Training: Aufbauend auf einem angepassten LlamaFactory-Fork werden spezifische Konfigurationen für das Training von LenVM verwendet, um das Wertmodell zu optimieren.
3. SGLang-Inferenz und geführte Dekodierung: LenVM-fähige Inferenzskripte steuern die Generierung durch dynamische Längenanpassung.
4. Interaktive Demo: Ein HTML-Demo ermöglicht die visuelle Überprüfung von Token-Level-Werten und Generierungsdynamiken.

Vergleich mit bestehenden Methoden

Der Ansatz von LenVM unterscheidet sich grundlegend von anderen Längenmodellierungsmethoden. Während beispielsweise Entropy-Guided Token Pooling (EGTP) und Progressive Length Prediction (PLP) (Einreichung bei ICLR 2026) interne Hidden States von LLMs nutzen, um Ausgabelängen vorherzusagen, agieren diese primär auf Prompt- oder sequenzübergreifender Ebene. EGTP konzentriert sich auf eine genaue statische Vorhersage durch Rekombination modellinterner Aktivierungen, während PLP eine iterative Verfeinerung der Längenprognose in stochastischen Umgebungen ermöglicht. LenVM hingegen konzentriert sich auf die token-basierte Wertschätzung der verbleibenden Länge, was eine direktere und feinkörnigere Steuerung erlaubt.

Andere Forschungsarbeiten, wie GrowLength, konzentrieren sich auf eine progressive Erhöhung der Trainingssequenzlänge während des Vortrainings, um die Effizienz von LLMs zu verbessern, ohne zusätzliche Engineering-Anstrengungen. Efficient Pretraining Length Scaling schlägt den Parallel Hidden Decoding Transformer (PHD-Transformer) vor, um eine effiziente Längenskalierung beim Vortraining zu ermöglichen und gleichzeitig die Inferenz-Effizienz zu erhalten. Diese Methoden zielen darauf ab, die Fähigkeit der Modelle zu verbessern, längere Kontexte zu verarbeiten, während LenVM die explizite Steuerung der Ausgabelänge während der Inferenz in den Vordergrund stellt.

Ein weiterer relevanter Bereich ist die Kontextattribution auf Token-Ebene, wie sie von TokenShapley vorgeschlagen wird. Dieses Verfahren verwendet Shapley-Werte und KNN-Retrieval, um die Beiträge einzelner Tokens zur generierten Antwort zu quantifizieren. Obwohl TokenShapley nicht direkt die Längenmodellierung betrifft, unterstreicht es die wachsende Bedeutung einer granularen Analyse und Steuerung auf Token-Ebene, was auch ein Kernaspekt von LenVM ist.

Die Forschung zur effektiven Skalierung von Foundation Models für lange Kontexte, wie sie in "Effective Long-Context Scaling of Foundation Models" beschrieben wird, zeigt, dass die Anpassung von Positionskodierungen und die Nutzung umfangreicher Trainingsdaten entscheidend sind. Auch hier ergänzt LenVM diese Ansätze, indem es eine zusätzliche Schicht der Kontrolle über die Ausgabelänge bietet.

Anwendungsbereiche und Implikationen für B2B

Für Unternehmen, die large language models (LLMs) oder vision-language models (VLMs) in ihren Geschäftsabläufen einsetzen, bietet LenVM erhebliche Vorteile:

• Kostenoptimierung: Durch die präzise Steuerung der Ausgabelänge können unnötige Token-Generierungen vermieden und damit die Inferenzkosten gesenkt werden. Dies ist besonders relevant bei der Nutzung von API-basierten Modellen, bei denen die Abrechnung oft pro Token erfolgt.
• Qualitätskontrolle: In Anwendungsfällen, die eine spezifische Ausgabelänge erfordern (z. B. Zusammenfassungen mit Wortbegrenzung, Code-Generierung mit Zeilenlimits), kann LenVM die Einhaltung dieser Vorgaben sicherstellen und die Relevanz der generierten Inhalte verbessern.
• Verbesserte Benutzererfahrung: Durch die Möglichkeit, die Länge dynamisch anzupassen, können Anwendungen flexibler auf Nutzeranforderungen reagieren, beispielsweise bei der Generierung von Marketingtexten, Berichten oder Kundensupport-Antworten.
• Effizientere Entwicklung: Das annotationsfreie Vortraining und die multimodale Unterstützung vereinfachen die Entwicklung und Anpassung von Modellen für spezifische Geschäftsanforderungen.
• Interpretierbarkeit: Die Visualisierungstools von LenVM bieten Einblicke in die Generierungsdynamik, was für das Debugging und die Verbesserung von Modellen wertvoll sein kann.

Die Fähigkeit von LenVM, einen effektiven Kompromiss zwischen Leistung und Effizienz zu ermöglichen, ist besonders für B2B-Anwendungen von Relevanz. Beispielsweise kann bei der Generierung von Code auf GSM8K mit einem Budget von 200 Tokens eine Genauigkeit von 63% beibehalten werden, verglichen mit nur 6% bei einem einfachen Token-Budget-Baseline. Dies verdeutlicht das Potenzial von LenVM, die Effizienz von KI-Anwendungen zu steigern, ohne dabei signifikante Leistungseinbußen hinnehmen zu müssen.

Fazit

Das Length Value Model (LenVM) stellt einen Fortschritt in der Längenmodellierung für autoregressive Modelle dar. Durch seinen token-basierten, wertschätzenden Ansatz bietet es eine präzisere Kontrolle und Vorhersage der Generierungslänge, die über die Fähigkeiten früherer sequenzbasierter Methoden hinausgeht. Die annotationsfreie Skalierbarkeit, multimodale Kompatibilität und die dynamische Steuerbarkeit während der Inferenz machen LenVM zu einem vielversprechenden Werkzeug für die Optimierung von LLM- und VLM-Anwendungen. Die erzielten Ergebnisse, insbesondere die deutliche Verbesserung der Längensteuerung und des Leistungs-Effizienz-Kompromisses, unterstreichen das Potenzial von LenVM als generelles Framework für die Längenmodellierung und als wertvolles Signal für zukünftige RL-Trainings.

Bibliographie

- eric-ai-lab/Length-Value-Model. (2026, April 11). GitHub. https://github.com/eric-ai-lab/Length-Value-Model - Predicting LLM output length via entropy-guided representations. (o. J.). OpenReview.net. Abgerufen am 28. Mai 2024, von https://openreview.net/pdf/2659d97faa4e4968177589486f05554c7e0a473d.pdf - Efficient Pretraining Length Scaling. (o. J.). Abgerufen am 28. Mai 2024, von https://arxiv.org/html/2504.14992v2 - TokenShapley: Token Level Context Attribution with Shapley Value. (2025). ACL Anthology. https://aclanthology.org/2025.findings-acl.200.pdf - Effective Long-Context Scaling of Foundation Models. (2024). ACL Anthology. https://aclanthology.org/2024.naacl-long.260.pdf - GrowLength: Accelerating LLMs Pretraining by Progressively Growing Training Length. (o. J.). Hugging Face. https://huggingface.co/papers/2310.00576 - Efficient LLM Pretraining and Inference with Unlimited Context Length. (o. J.). Abgerufen am 28. Mai 2024, von https://proceedings.neurips.cc/paper_files/paper/2024/file/840abfadd04c967feaa2a49aba94a32d-Paper-Conference.pdf