Große Sprachmodelle und die Revolution der KI-basierten Textgenerierung

In der sich rasant entwickelnden Welt der künstlichen Intelligenz (KI) sind große Sprachmodelle (Large Language Models, LLMs) in den Mittelpunkt des Interesses gerückt. Diese Modelle haben das Potenzial, menschenähnliche Texte zu generieren und eine Vielzahl von Anwendungen zu revolutionieren, von der automatischen Übersetzung über die Content-Erstellung bis hin zur Unterstützung in der Kundenbetreuung. Allerdings stellen die Geschwindigkeit und Effizienz der Textgenerierung durch diese Modelle eine Herausforderung dar, die es zu überwinden gilt.

Ein neuer Ansatz, der in der KI-Community Aufmerksamkeit erregt, ist das sogenannte "Speculative Decoding". Diese Methode beschleunigt die Textgenerierung von LLMs durch Vorhersagen eines Hilfsmodells, das zunächst als Entwurf dient. Trotz ihrer Effektivität erfordert diese Technik zusätzliche Parameter oder die Integration eines separaten kleineren Modells, was die Komplexität des Systems erhöhen kann.

Eine bahnbrechende Entwicklung in diesem Bereich ist das von Apple vorgeschlagene Verfahren des "Speculative Streaming". Dieser Ansatz integriert das Spekulative Decoding in ein einzelnes LLM, um die Inferenz zu beschleunigen, ohne die Qualität der generierten Texte zu beeinträchtigen. Die Ergebnisse sind beeindruckend: Speculative Streaming beschleunigt die Generierung um das 1,8- bis 3,1-fache und verwendet dabei 10.000-mal weniger zusätzliche Parameter im Vergleich zu sogenannten Medusa-Stil-Architekturen.

Um Speculative Streaming zu implementieren, ersetzt man die obersten Schichten der Multi-Head Attention (MHA) des Basismodells durch Multi-Stream Attention (MSA) Schichten, um die Vorhersage von N-Grammen zu ermöglichen (MHA + SE). Das LLM kann nun zusätzliche spekulative Token mit vernachlässigbarer Latenzverzögerung generieren. Eine Parallel Tree-Struktur mit Beschneidung wird verwendet, um die Akzeptanzrate der spekulierten Token zu erhöhen und den Rechenaufwand zu reduzieren, indem Token nach der Übergangswahrscheinlichkeit zwischen Eltern- und Kindtoken beschnitten werden. Außerdem werden LoRA-Adapter trainiert, die die Vorhersage des nächsten Tokens und die N-Gramm-Vorhersage verwenden, um Spekulation und Verifizierung abzugleichen.

Apple hat jedoch keinen Open-Source-Code veröffentlicht, was die Frage aufwirft, wer diese Methode unter Verwendung von Hugging Face und PEFT implementieren wird.

Ein weiterer Ansatz, der in der KI-Forschung diskutiert wird, ist das Online Speculative Decoding. Dieses Konzept baut darauf auf, dass die überschüssige Rechenleistung in einem LLM-Servercluster genutzt wird, um (mehrere) Entwurfsmodelle kontinuierlich mit beobachteten Nutzeranfragedaten zu aktualisieren. Da die Inferenz von LLMs speicherbegrenzt ist, kann die überschüssige Rechenleistung in einem typischen LLM-Servercluster für das Online-Training von Entwurfsmodellen umgewidmet werden, wodurch die Trainingskosten neutral bleiben. Da die Anfragedistribution eines LLM-Dienstes relativ einfach ist, ermöglicht das Training an der Anfragedistribution, dass das Entwurfsmodell die Ausgaben des Zielmodells, insbesondere bei Daten aus Anfragedistributionen, genauer vorhersagt. Da sich das Entwurfsmodell online weiterentwickelt, passt es sich in Echtzeit an die Anfragedistribution an und mildert so Verschiebungen in der Verteilung.

Das Interesse an diesen Technologien ist groß, da sie die Effizienz und Schnelligkeit der LLMs erheblich steigern können, was wiederum die Anwendungsbereiche von KI-Systemen erweitert. Unternehmen wie Mindverse, die als KI-Partner fungieren und maßgeschneiderte Lösungen wie Chatbots, Voicebots, KI-Suchmaschinen, Wissenssysteme und vieles mehr entwickeln, könnten von diesen Entwicklungen profitieren. Indem sie solche fortschrittlichen KI-Technologien in ihre Produkte integrieren, können sie ihren Nutzern leistungsfähigere und effizientere Werkzeuge zur Verfügung stellen.

Es bleibt abzuwarten, wie diese Technologien in die Praxis umgesetzt werden und welche Auswirkungen sie auf die KI-Branche und darüber hinaus haben werden. In jedem Fall ist es ein spannender Zeitpunkt für diejenigen, die an der Spitze der KI-Forschung und -Entwicklung stehen.

Quellen:

- Schmid, Philipp. Twitter Post. 20. Februar 2024. https://twitter.com/_philschmid/status/1759864942734299410
- Akhaliq, AK. Twitter Post. 20. Februar 2024. https://twitter.com/_akhaliq/status/1759812354387161517
- Liu, Xiaoxuan, et al. "Online Speculative Decoding." OpenReview. 21. September 2023. https://openreview.net/forum?id=Km3Kprwyua¬eId=WuxfuTclq5
- Bhendawade, Nikhil, et al. "Speculative Streaming: Fast LLM Inference without Auxiliary Models." ArXiv. 16. Februar 2024. https://arxiv.org/abs/2402.11131