Die Praxis der LLM-Beschneidung und -Destillation: Der Minitron-Ansatz

Einführung

Große Sprachmodelle (Large Language Models, LLMs) sind seit einigen Jahren eine dominierende Kraft im Bereich der natürlichen Sprachverarbeitung und des Verständnisses. Sie zeichnen sich durch ihre Effektivität und Vielseitigkeit aus. Bekannte Modelle wie Llama 3.1 405B und NVIDIA Nemotron-4 340B sind in der Lage, viele komplexe Aufgaben zu bewältigen, darunter Codierung, logisches Denken und Mathematik. Allerdings sind diese Modelle sehr ressourcenintensiv, was ihre breite Nutzung einschränkt. Eine vielversprechende Lösung bietet die Entwicklung kleinerer Sprachmodelle (Small Language Models, SLMs), die viele der Sprachaufgaben ebenfalls meistern, aber wesentlich kostengünstiger und effizienter in der Anwendung sind.

Die Bedeutung der Modellkompression

Die Kombination aus strukturellem Gewichtsbeschneiden (Pruning) und Wissensdestillation hat sich als effektive Strategie erwiesen, um die Kosten für das Training von Modellfamilien erheblich zu reduzieren. Dabei wird zunächst nur das größte Modell in der Familie von Grund auf trainiert. Die kleineren Modelle entstehen durch sukzessives Beschneiden und anschließende Wissensdestillation. Diese Praxis wird als der Minitron-Ansatz bezeichnet und wurde erfolgreich auf die Modelle Llama 3.1 8B und Mistral NeMo 12B angewendet, um sie auf 4B- bzw. 8B-Parameter zu reduzieren.

Methodik

Unser Ansatz zur Modellkompression umfasst zwei Hauptmethoden: das Tiefen-Beschneiden und das kombinierte Beschneiden von versteckten Schichten, Aufmerksamkeitsmechanismen und MLPs (Breiten-Beschneiden). Die Ergebnisse dieser Methoden werden anhand gängiger Benchmarks aus dem LM Evaluation Harness bewertet.

Pruning

Das Pruning ist eine bekannte Technik zur Reduzierung der Modellgröße. In diesem Bericht konzentrieren wir uns auf das strukturierte Pruning, bei dem Blöcke von nicht-nullen Elementen aus den Modellgewichten entfernt werden. Hierbei verwenden wir eine rein auf Aktivierungen basierende Wichtigkeitsschätzung, um die Bedeutung jeder Schicht, jedes Neurons, jedes Heads und jedes Embedding-Kanals zu bestimmen. Diese Informationen nutzen wir, um die entsprechenden Gewichtsmatrizen zu trimmen.

Destillation

Nach dem Pruning erfolgt die Destillation, um die Genauigkeit des beschnittenen Modells wiederherzustellen. Hierbei verwenden wir zwei Strategien: das konventionelle Training mit Ground-Truth-Labels und die Wissensdestillation. Bei der Wissensdestillation wird das Wissen eines großen, komplexen Modells (des Lehrermodells) auf ein kleineres, einfacheres Modell (das Studentenmodell) übertragen.

Ergebnisse und Analysen

Unsere Ergebnisse zeigen, dass der Minitron-Ansatz ein state-of-the-art 8B-Modell (MN-Minitron-8B) hervorbringt, das in allen gängigen Benchmarks besser abschneidet als vergleichbare Modelle. Auch die Llama-3.1-Minitron-4B-Modelle (Tiefen- und Breiten-Beschneidungsvarianten) weisen im Vergleich zum Lehrermodell Llama 3.1 8B und dem vorherigen Minitron-4B-Modell eine starke Genauigkeit auf. Insbesondere die Breiten-Beschneidungsvariante zeigt bessere Ergebnisse als die Tiefen-Beschneidungsvariante.

Praktische Implikationen

Der Minitron-Ansatz bietet mehrere Vorteile: - Verbesserung der MMLU-Scores um 16% im Vergleich zum Training von Grund auf. - Reduzierung der benötigten Trainings-Tokens auf etwa 100 Milliarden, was einer Reduktion um das 40-fache entspricht. - Erhebliche Einsparungen bei den Trainingskosten, bis zu 1,8-fach im Vergleich zum Training aller Modelle von Grund auf. - Vergleichbare Leistung zu Modellen wie Mistral 7B, Gemma 7B und Llama-3 8B, die auf wesentlich mehr Tokens trainiert wurden, bis zu 15 Billionen.

Schlussfolgerung

Der Minitron-Ansatz zur Modellkompression durch Pruning und Destillation bietet eine effektive Möglichkeit, große Sprachmodelle zu verkleinern und gleichzeitig ihre Leistungsfähigkeit beizubehalten. Dies ermöglicht eine breitere Anwendung in verschiedenen Bereichen, ohne die hohen Ressourcenanforderungen der ursprünglichen Modelle.

Bibliographie

- https://arxiv.org/abs/2408.11796 - https://huggingface.co/papers/2408.11796 - https://arxiv.org/html/2408.11796v1 - https://developer.nvidia.com/blog/how-to-prune-and-distill-llama-3-1-8b-to-an-nvidia-llama-3-1-minitron-4b-model/ - https://paperreading.club/page?id=247412 - https://huggingface.co/papers?date=2024-08-22 - https://www.linkedin.com/posts/pavlo-molchanov-08738a63_unlocking-efficiency-with-pruning-and-activity-7229606260944289792-oOq_ - https://developer.nvidia.com/blog/mistral-nemo-minitron-8b-foundation-model-delivers-unparalleled-accuracy/ - https://arxiv-sanity-lite.com/