Entdeckung der frühen Schichten: Beschleunigung von Long-Context-LLMs durch tausendfache Reduktion der Eingabe-Token

Große Sprachmodelle (LLMs) haben bemerkenswerte Fähigkeiten bei der Verarbeitung langer Kontexteingaben bewiesen, doch dies geht zu Lasten erhöhter Rechenressourcen und Latenzzeiten. Aktuelle Forschungsergebnisse stellen einen neuartigen Ansatz für den Engpass bei langen Kontexten vor, um die LLM-Inferenz zu beschleunigen und den GPU-Speicherverbrauch zu reduzieren.

Die Herausforderung langer Kontexte

LLMs, die auf der Transformer-Architektur basieren, haben in den letzten Jahren bei verschiedenen Aufgaben im Bereich der natürlichen Sprachverarbeitung (NLP) beeindruckende Leistungen erbracht. Ihre Fähigkeit, lange Texteingaben zu verarbeiten, ist für Anwendungen wie Textzusammenfassung, Fragebeantwortung und maschinelle Übersetzung von entscheidender Bedeutung. Die Verarbeitung langer Kontexte bringt jedoch erhebliche Herausforderungen mit sich. Der Hauptgrund für diese Herausforderungen liegt in der Selbstaufmerksamkeits-Schicht von Transformern. Die Selbstaufmerksamkeit ermöglicht es dem Modell, Beziehungen zwischen allen Wörtern in einer Sequenz zu lernen. Die Berechnungskomplexität der Selbstaufmerksamkeit wächst jedoch quadratisch mit der Länge der Eingabesequenz. Dies bedeutet, dass die Verarbeitung langer Sequenzen schnell unerschwinglich wird, was zu langen Latenzzeiten und einem hohen Speicherverbrauch führt.

Frühzeitige Filterung als Lösung

Die Forschungsarbeit zeigt, dass LLMs bereits in den frühen Schichten des Netzwerks relevante Token identifizieren können, bevor sie Antworten auf eine Anfrage generieren. Diese Erkenntnis eröffnet die Möglichkeit, die Eingabesequenz zu komprimieren, bevor sie die rechenintensiveren späteren Schichten erreicht. Anstatt die gesamte Eingabesequenz mit allen Schichten des LLM zu verarbeiten, wird vorgeschlagen, die frühen Schichten als Filter zu verwenden. Diese Filter identifizieren die relevantesten Token, die dann an die späteren Schichten weitergegeben werden. Durch die Reduktion der Token-Anzahl wird die Berechnungskomplexität der Selbstaufmerksamkeit deutlich reduziert, was zu einer schnelleren Inferenz und einem geringeren Speicherbedarf führt.

GemFilter: Ein vielversprechender Ansatz

Ein konkreter Algorithmus, der auf diesem Prinzip basiert, ist GemFilter. GemFilter nutzt die frühen Schichten eines LLM, um die Wichtigkeit von Token in Bezug auf eine gegebene Anfrage zu bewerten. Basierend auf dieser Bewertung werden die relevantesten Token ausgewählt und an die späteren Schichten weitergegeben. Die Evaluierung von GemFilter zeigt vielversprechende Ergebnisse. Im Vergleich zu herkömmlichen Ansätzen wie Standard-Attention und SnapKV/H2O erreicht GemFilter eine bis zu 2,4-fache Beschleunigung und eine Reduzierung des GPU-Speicherbedarfs um 30 %. Darüber hinaus zeigt GemFilter eine mit dem Stand der Technik vergleichbare Leistung bei der LongBench-Challenge, einem Benchmark für Long-Context-LLMs.

Vorteile und Ausblick

Der Ansatz der frühzeitigen Filterung und Algorithmen wie GemFilter bieten mehrere Vorteile: - **Effizienz:** Schnellere Inferenz und reduzierter Speicherbedarf ermöglichen die Verarbeitung längerer Kontexte und den Einsatz von LLMs auf Geräten mit begrenzten Ressourcen. - **Interpretierbarkeit:** Die Auswahl der relevanten Token durch die Filter ermöglicht es, die Funktionsweise des Modells besser zu verstehen. - **Vielseitigkeit:** Der Ansatz ist unabhängig von der spezifischen Architektur des LLM und kann auf verschiedene Modelle angewendet werden. Die Forschungsergebnisse eröffnen neue Möglichkeiten für die Optimierung von Long-Context-LLMs. Zukünftige Arbeiten könnten sich auf die Verbesserung der Genauigkeit der Filter, die Entwicklung adaptiver Filtermechanismen und die Integration des Ansatzes in bestehende LLM-Architekturen konzentrieren. Die Entdeckung der "Juwelen" in den frühen Schichten könnte den Weg für effizientere und leistungsfähigere LLMs ebnen, die in der Lage sind, die ständig wachsenden Anforderungen an die Verarbeitung natürlicher Sprache zu erfüllen.

Bibliographie

Jiang, H., Wu, Q., Luo, X., Li, D., Lin, C.-Y., Yang, Y., & Qiu, L. (2023). LongLLMLingua: Accelerating and Enhancing LLMs in Long Context Scenarios via Prompt Compression. *arXiv preprint arXiv:2310.06839*. Jiang, H., Li, Y., Zhang, C., Wu, Q., Luo, X., Ahn, S., ... & Qiu, L. (2024). MInference 1.0: Accelerating Pre-filling for Long-Context LLMs via Dynamic Sparse Attention. *arXiv preprint arXiv:2407.02490*. Xnhyacinth. (2024). Awesome-LLM-Long-Context-Modeling. https://github.com/Xnhyacinth/Awesome-LLM-Long-Context-Modeling Kumar, S. (2024, September 2). MemLong: Memory-Augmented Retrieval for Long Text LLM Generation. Medium. https://medium.com/@techsachin/memlong-memory-augmented-retrieval-for-long-text-llm-generation-118081c2c545 AIMS Lab. (2024, August 22). LazyLLM: Dynamic Token Pruning for Efficient Long Context LLM Inference [Video]. YouTube. https://www.youtube.com/watch?v=5pYzAafzgmA Cerebras AI. (2023, July 22). Variable Sequence Length Training for Long-Context Large Language Models. https://cerebras.ai/blog/variable-sequence-length-training-for-long-context-large-language-models/ Liu, D., Chen, M., Lu, B., Jiang, H., Han, Z., Zhang, Q., ... & Qiu, L. (2024). RetrievalAttention: Accelerating Long-Context LLM Inference via Vector Retrieval. *arXiv preprint arXiv:2409.10516*. Iz Beltagy, Matthew E. Peters, Arman Cohan. (2020). Longformer: The Long-Document Transformer. *arXiv preprint arXiv:2004.05150*.