IBM stellt Power Scheduler vor: Ein Lernraten-Planer, der Batch-Größe und Token-Anzahl ignoriert

Einleitung

Die Optimierung der Lernrate bei der Vorab-Trainierung von Sprachmodellen ist eine anspruchsvolle Aufgabe. Dies liegt nicht nur an der komplexen Korrelation zwischen Lernrate, Batch-Größe, Anzahl der Trainingstoken, Modellgröße und anderen Hyperparametern, sondern auch daran, dass es prohibitv teuer ist, eine Hyperparametersuche für große Sprachmodelle mit Milliarden oder Billionen von Parametern durchzuführen. Vor Kurzem hat IBM den Power Scheduler vorgestellt, einen neuen Lernraten-Planer, der unabhängig von der Anzahl der Trainingstoken und der Batch-Größe arbeitet.

Herausforderungen der Lernraten-Optimierung

Die Bestimmung der optimalen Lernrate für die Vorab-Trainierung von Sprachmodellen ist eine herausfordernde Aufgabe. Es gibt mehrere Faktoren, die diese Aufgabe erschweren: - Korrelation zwischen Lernrate, Batch-Größe und Anzahl der Trainingstoken - Hohe Kosten der Hyperparametersuche bei großen Modellen - Notwendigkeit kleiner Proxy-Modelle und -Datensätze zur Hyperparametersuche - Übertragbarkeit der optimalen Parameter von kleinen auf große Modelle

Power Scheduler: Ein neuer Ansatz

Der Power Scheduler ist ein neuer Lernraten-Planer, der unabhängig von der Anzahl der Trainingstoken und der Batch-Größe arbeitet. IBM stellt fest, dass die Kombination des Power Schedulers mit der Maximum Update Parameterization (muP) durchweg beeindruckende Leistungen mit einem Satz von Hyperparametern erzielen kann, unabhängig von der Anzahl der Trainingstoken, der Batch-Größe, der Modellgröße und sogar der Modellarchitektur.

Die Schlüsselmerkmale des Power Schedulers

- Unabhängigkeit von der Anzahl der Trainingstoken und der Batch-Größe - Verwendung von Maximum Update Parameterization (muP) - Konsistente Leistung mit einem einzigen Satz von Hyperparametern

Experimentelle Ergebnisse und Beobachtungen

Nach tausenden kleiner Experimente fand IBM eine Potenzgesetz-Beziehung zwischen den Variablen und demonstrierte deren Übertragbarkeit über verschiedene Modellgrößen hinweg. Der Power Scheduler zeigte in Kombination mit muP eine durchweg beeindruckende Leistung, unabhängig von der Anzahl der Trainingstoken, der Batch-Größe, der Modellgröße und der Modellarchitektur.

Vergleich mit dem Stand der Technik

IBM berichtet, dass ihre 3B dichten und MoE-Modelle, die mit dem Power Scheduler trainiert wurden, eine vergleichbare Leistung wie die aktuellen kleinen Sprachmodelle erzielen.

Einfluss auf die Sprachmodell-Trainierung

Die Vorstellung des Power Schedulers könnte die Art und Weise, wie Sprachmodelle trainiert werden, erheblich verändern. Durch die Unabhängigkeit von der Anzahl der Trainingstoken und der Batch-Größe bietet der Power Scheduler eine flexiblere und kosteneffizientere Methode zur Optimierung der Lernrate bei der Vorab-Trainierung von Sprachmodellen.

Langfristige Auswirkungen

Langfristig könnte der Power Scheduler dazu beitragen, die Kosten und den Aufwand für die Hyperparametersuche zu reduzieren und die Effizienz der Modelltrainierung zu verbessern. Dies könnte insbesondere für große Sprachmodelle mit Milliarden oder Billionen von Parametern von Bedeutung sein.

Fazit

Der Power Scheduler stellt einen bedeutenden Fortschritt in der Optimierung der Lernrate bei der Vorab-Trainierung von Sprachmodellen dar. Durch seine Unabhängigkeit von der Anzahl der Trainingstoken und der Batch-Größe bietet er eine flexible und kosteneffiziente Lösung für die Optimierung der Lernrate. Die experimentellen Ergebnisse zeigen, dass der Power Scheduler in Kombination mit der Maximum Update Parameterization (muP) eine durchweg beeindruckende Leistung erzielen kann, was seine potenzielle Bedeutung für die Zukunft der Sprachmodell-Trainierung unterstreicht.

Bibliografie

https://discuss.huggingface.co/t/how-to-choose-optimal-batch-size-for-training-llms/23861 https://huggingface.co/docs/transformers/main_classes/optimizer_schedules https://huggingface.co/DiscoResearch/Llama3-German-8B https://arxiv.org/pdf/2405.18392 https://discuss.huggingface.co/t/why-are-huge-batch-sizes-used-for-pretraining-and-small-ones-for-finetuning/10836 https://training.continuumlabs.ai/training/the-fine-tuning-process/hyperparameters/batch-size-and-model-loss https://arxiv.org/html/2407.07263v1 https://www.graphcore.ai/posts/xlstm-schedule-free-optimizers-multi-token-prediction-potm-may