Neue polynomial Aktivierungsfunktionen zur Optimierung von Sprachmodellen

Polynomiale Aktivierungsfunktionen: Ein neuer Ansatz für große Sprachmodelle

Transformer-Modelle haben aufgrund ihrer Anpassungsfähigkeit in verschiedenen Bereichen Anwendung gefunden. Dieser Erfolg ist zum Teil auf ihre inhärente Nichtlinearität zurückzuführen. Neben der in der ursprünglichen Transformer-Architektur verwendeten ReLU-Funktion haben Forscher alternative Module wie GeLU und SwishGLU untersucht, um die Nichtlinearität und damit die Repräsentationsfähigkeit zu verbessern. Ein neuer Forschungsartikel schlägt nun eine innovative Kategorie von polynomialen Kompositionsaktivierungen (PolyCom) vor, die darauf abzielen, die Dynamik von Transformern zu optimieren.

PolyCom: Ein Überblick

Die PolyCom-Aktivierungsfunktionen unterscheiden sich von herkömmlichen Aktivierungsfunktionen, die meist linear oder stückweise linear sind. PolyCom ermöglicht die Modellierung komplexerer Muster in Daten. Diese erhöhte Ausdruckskraft ermöglicht es dem Modell, Interaktionen höherer Ordnung zu erfassen, die sonst möglicherweise vernachlässigt würden.

Es gibt zwei Haupttypen von PolyCom-Funktionen:

Typ I: x ↦ ∑(i=0 bis r) ai * ρi(x)

Typ II: x ↦ ∑(i=0 bis r) ai * ρ(xi)

Dabei ist 'r' die Ordnung von PolyCom, 'ai' sind trainierbare Koeffizienten und 'ρ' repräsentiert beliebige Funktionen wie ReLU, PReLU, Sigmoid, SiLU oder Normalisierung. Der Unterschied zwischen den beiden Typen liegt darin, ob die Funktion vor oder nach der Potenzierung angewendet wird.

Zwei spezifische Implementierungen von PolyCom werden im Artikel vorgestellt:

PolyReLU: Eine Komposition mit der ReLU-Funktion. Ein PolyReLU der Ordnung 'r' ist definiert als: PolyReLU(x) = ∑(i=0 bis r) ai * ReLUi(x)

PolyNorm: Normalisiert die Potenzen, um konsistente Größenordnungen über alle Terme hinweg sicherzustellen: PolyNorm(x) = ∑(i=0 bis r) ai * xi / ||xi||2

Theoretische Analyse und Empirische Ergebnisse

Die theoretische Analyse von PolyCom unterstreicht die verbesserte Ausdruckskraft und Effizienz im Vergleich zu anderen Aktivierungsfunktionen. Es wird gezeigt, dass Netzwerke mit PolyCom die optimale Approximationsrate erreichen, was bedeutet, dass sie mit minimalen Parametern allgemeine glatte Funktionen in Sobolev-Räumen approximieren können.

Empirische Experimente wurden mit Pre-Training-Konfigurationen von großen Sprachmodellen (LLMs) durchgeführt, sowohl mit dichten als auch mit Sparse-Architekturen. Der Ersatz herkömmlicher Aktivierungsfunktionen durch PolyCom ermöglichte es den LLMs, Interaktionen höherer Ordnung innerhalb der Daten zu erfassen, was zu Verbesserungen der Genauigkeit und der Konvergenzraten führte.

Die Ergebnisse zeigen, dass PolyCom, insbesondere PolyNorm, in verschiedenen Benchmarks zu erheblichen Verbesserungen gegenüber anderen Aktivierungsfunktionen wie SwiGLU, GELU und ReLU führt. Sowohl bei dichten als auch bei MoE-Modellen konnte eine schnellere Konvergenz und eine höhere Genauigkeit in Downstream-Tasks beobachtet werden.

Fazit

PolyCom stellt eine vielversprechende neue Klasse von Aktivierungsfunktionen für Transformer-Modelle dar. Die theoretischen und empirischen Ergebnisse deuten auf ein erhebliches Potenzial für die Verbesserung der Leistung und Effizienz von LLMs hin. Weitere Forschung könnte die Anwendung von PolyCom auf andere Architekturen und Aufgaben sowie die Untersuchung weiterer Varianten der polynomialen Komposition untersuchen. Der veröffentlichte Code ermöglicht es anderen Forschern, die Ergebnisse zu reproduzieren und PolyCom in ihren eigenen Projekten zu evaluieren.

Bibliographie: https://arxiv.org/abs/2411.03884 https://arxiv.org/html/2411.03884v1 https://openreview.net/forum?id=CbpWPbYHuv https://openreview.net/pdf/af6d93a2645a1dae6034eb4718c9862f62f898c5.pdf https://www.chatpaper.com/chatpaper/zh-CN/paper/74448 https://hpc.fau.de/about-us/nhr-compute-time-projects/ https://scads.ai/publications/ https://ml-research.github.io/people/kkersting/ https://cvpr.thecvf.com/virtual/2024/awards_detail https://cikm2024.org/proceedings/