Ein innovativer Ansatz zur Optimierung der Inferenz in großen Sprachmodellen durch lernbare Tensoroperatoren
Artikel jetzt als Podcast anhören
Ein neuer Ansatz für große Sprachmodelle: PLDR-LLMs und der lernbare Tensoroperator
Die Entwicklung großer Sprachmodelle (LLMs) schreitet rasant voran. Ein vielversprechender neuer Ansatz, der in dem Paper "PLDR-LLMs Learn A Generalizable Tensor Operator That Can Replace Its Own Deep Neural Net At Inference" vorgestellt wird, beschäftigt sich mit der Optimierung der Inferenzphase dieser Modelle. Der Kern dieser Forschung liegt in der Nutzung eines lernbaren Tensoroperators, der das komplexe neuronale Netzwerk während der Inferenz ersetzen kann.
Die Autoren des Papers zeigen, dass sogenannte PLDR-LLMs (Power Law Decoder Representations - LLMs) invariante Tensoren als deduktive Ausgaben erzeugen. Diese Invarianz ermöglicht es, einen sogenannten Energie-Krümmungstensor GLM zu lernen. Dieser Tensor kann nach einmaligem Inferieren das tiefe neuronale Netzwerk der Power-Law-Graph-Attention (PLGA), welches die deduktiven Ausgaben generiert, vollständig ersetzen. Dieser Ansatz führt zu einer signifikanten Beschleunigung der Inferenz.
Zur weiteren Optimierung der Inferenzzeit schlagen die Autoren die Implementierung eines Caches für GLM (G-Cache) sowie eines herkömmlichen Key-Value-Caches (KV-Cache) vor. Die hohe Genauigkeit der invarianten Tensoren wird durch die Tatsache unterstrichen, dass die deduktiven Ausgaben nach dem Caching dieselben RMSE- und Determinantenwerte bis zu 15 Dezimalstellen aufweisen. Darüber hinaus bleiben die Zero-Shot-Benchmark-Ergebnisse unverändert.
Ablation Studies und Vergleich mit anderen Modellen
Ablation Studies, bei denen einzelne Komponenten des Modells entfernt und die Auswirkungen analysiert werden, zeigen, dass die gelernten deduktiven Ausgaben sich in ihren Verlust- und Genauigkeitsmerkmalen deutlich von Modellen unterscheiden, die mit transferierten, zufällig initialisierten oder Identitätstensoren als konstante Tensoroperatoren vortrainiert wurden. Interessanterweise stellt sich heraus, dass ein LLM mit Scaled-Dot-Product-Attention (SDPA) ein Spezialfall von PLDR-LLM ist, bei dem GLM als Identität vordefiniert ist.
Die beobachtete Invarianz führt zu einer neuartigen Asymmetrie zwischen Trainings- und Inferenzphase, insbesondere bei Verwendung des Caches. Während des Trainings wird der Tensoroperator GLM gelernt, in der Inferenzphase ersetzt er dann das neuronale Netzwerk. Diese Asymmetrie ermöglicht eine deutliche Effizienzsteigerung.
Implikationen für die Praxis und zukünftige Forschung
Die Ergebnisse dieser Forschung sind vielversprechend für die Entwicklung effizienterer LLMs. Die Möglichkeit, komplexe neuronale Netze während der Inferenz durch einen einmal gelernten Tensoroperator zu ersetzen, eröffnet neue Wege zur Optimierung von Geschwindigkeit und Ressourcenverbrauch. Dies ist besonders relevant für Anwendungen, die Echtzeit-Inferenz erfordern, wie z.B. Chatbots, Voicebots oder KI-Suchmaschinen. Mindverse, als Anbieter von KI-Lösungen, beobachtet solche Entwicklungen mit großem Interesse und prüft deren Anwendbarkeit für die eigenen Produkte und kundenspezifischen Lösungen.
Die Autoren stellen eine Implementierung eines Trainings- und Inferenz-Frameworks für PLDR-LLM mit KV-Cache und G-Cache zur Verfügung. Dies ermöglicht es anderen Forschern, die Ergebnisse zu reproduzieren und auf dieser Grundlage weiterzuforschen. Zukünftige Forschung könnte sich beispielsweise auf die Untersuchung der Skalierbarkeit dieses Ansatzes auf noch größere Modelle und komplexere Aufgaben konzentrieren.
Bibliographie: https://www.arxiv.org/abs/2502.13502 https://www.researchgate.net/publication/389167524_PLDR-LLMs_Learn_A_Generalizable_Tensor_Operator_That_Can_Replace_Its_Own_Deep_Neural_Net_At_Inference https://arxiv.org/html/2502.13502v1 https://huggingface.co/papers?date=2025-02-24 https://www.xueshuxiangzi.com/downloads/2025_2_20/2502.13502.pdf https://www.catalyzex.com/s/Product https://www.researchgate.net/scientific-contributions/Myle-Ott-2135225010 https://www.iese.fraunhofer.de/en/trend/artificial-intelligence/deep-learning.html http://128.84.21.203/list/cs/pastweek?show=1926 https://icml.cc/virtual/2024/papers.html
