Mechanistische Erkenntnisse zur Superposition in Sprachmodellen und deren Auswirkungen auf Skalierungsgesetze

Die Beobachtung, dass größere Modelle eine bessere Leistung erbringen, gehört zu den konsistentesten Erkenntnissen in der KI-Forschung. Eine Verdoppelung der Parameter, der Trainingsdaten oder der Rechenleistung führt dazu, dass der Vorhersagefehler eines Sprachmodells einem Potenzgesetz folgt. Diese sogenannten "Neural Scaling Laws" treiben die Entwicklung immer größerer Systeme voran. Die genaue Ursache dieser Gesetze war jedoch bislang nicht vollständig geklärt.

Eine auf der NeurIPS 2025 von Yizhou Liu, Ziming Liu und Jeff Gore vom Massachusetts Institute of Technology (MIT) vorgestellte Studie führt dieses Phänomen auf eine geometrische Eigenschaft zurück, die in den Modellen selbst angelegt ist: die Superposition.

Das Phänomen der Superposition in Sprachmodellen

Sprachmodelle müssen Zehntausende von Tokens und noch abstraktere Bedeutungen in einen internen Raum einpassen, der nur wenige Tausend Dimensionen besitzt. Theoretisch kann ein dreidimensionaler Raum nur drei Konzepte ohne Interferenz aufnehmen. Große Sprachmodelle (LLMs) umgehen diese Einschränkung, indem sie viele Konzepte gleichzeitig in denselben Dimensionen speichern. Die daraus resultierenden Vektoren überlappen sich dabei geringfügig. Dieses Komprimieren mehrerer Bedeutungen in einen begrenzten Raum bezeichnen Forschende als Superposition.

Bisher gingen viele Erklärungsansätze davon aus, dass nur die häufigsten Konzepte sauber repräsentiert werden, während der Rest verloren geht (sogenannte "schwache Superposition"). Das Team des MIT konnte jedoch mithilfe eines vereinfachten Modells von Anthropic zeigen, dass diese Annahme nicht der Funktionsweise realer LLMs entspricht.

Zwei Regime und ihre Erklärungsansätze

Die Forschenden entwickelten ein stark vereinfachtes KI-Modell, dessen Trainingsparameter so angepasst werden konnten, dass sie den Grad der Überlappung gespeicherter Konzepte steuerten. Dies ermöglichte den Vergleich zweier extremer Szenarien:

Die schwache Superposition

Im Fall der schwachen Superposition speichert das Modell nur die häufigsten Konzepte klar und ignoriert die übrigen. Der Vorhersagefehler resultiert hier hauptsächlich aus den seltenen Konzepten, die nicht berücksichtigt werden. Ob die Leistung dabei einem Potenzgesetz folgt, hängt davon ab, wie die Konzepte in den Trainingsdaten verteilt sind. Nur wenn diese Verteilung selbst einem Potenzgesetz folgt, zeigt auch der Fehler ein solches Verhalten. Die Studie bezeichnet dies als "Power Law In, Power Law Out".

Die starke Superposition

Im Gegensatz dazu speichert das Modell in der starken Superposition alle Konzepte gleichzeitig, indem es ihre Vektoren leicht überlappen lässt. Der Fehler entsteht hier nicht mehr durch fehlende Konzepte, sondern durch das Rauschen, das durch diese Überlappungen verursacht wird. In diesem Regime zeigt sich ein robustes Muster: Eine Verdoppelung der Modellbreite halbiert den Fehler annähernd, was durch eine einfache geometrische Beziehung (1/m, wobei m die Breite des Modells ist) vorhergesagt wird. Die Verteilung der Konzepte in den Daten spielt dabei kaum noch eine Rolle.

Bestätigung der Theorie durch reale Sprachmodelle

Um zu überprüfen, welches Regime auf reale Systeme zutrifft, analysierte das Team die Ausgabeschichten von Open-Source-Modellen wie OPT, GPT-2, Qwen2.5 und Pythia, deren Parameteranzahl von etwa 100 Millionen bis 70 Milliarden reichte. Das Ergebnis war eindeutig: Alle Tokens sind im Modell repräsentiert, ihre Vektoren überlappen sich, und die Stärke dieser Überlappungen nimmt genau im vorhergesagten Verhältnis von 1/m ab. Sprachmodelle operieren demnach im Regime der starken Superposition.

Der gemessene Skalierungsexponent stimmte ebenfalls überein und lag bei 0,91, nahe am theoretischen Wert von 1. Daten von Deepminds Chinchilla-Modell ergaben einen nahezu identischen Wert von 0,88. Nach Ansicht der Forschenden ergeben sich diese Skalierungsgesetze direkt aus der Art und Weise, wie Sprachmodelle Bedeutungen geometrisch innerhalb ihrer Repräsentationen organisieren.

Praktische Implikationen für Skalierung und Architektur

Die Arbeit liefert konkrete Antworten auf zwei offene Fragen in der KI-Forschung.

Grenzen der Skalierung

Zum einen stellt sich die Frage, ob die Skalierung irgendwann an ihre Grenzen stößt. Laut den Forschenden ist dies der Fall, sobald die Breite eines Modells der Größe seines Vokabulars entspricht. An diesem Punkt gibt es ausreichend Platz, um jedes Token ohne Überlappung zu repräsentieren, und der durch beengte Repräsentationen verursachte Fehler verschwindet. Das Potenzgesetz bricht an dieser Grenze zusammen.

Potenziale für Architekturentwicklung

Zum anderen wird die Frage beleuchtet, ob Skalierungsgesetze beschleunigt werden können, um mehr Leistung aus jedem zusätzlichen Parameter zu gewinnen. Für natürliche Sprache ist dies wahrscheinlich nicht der Fall, da die Wortfrequenzverteilungen relativ flach sind. Für spezialisierte Anwendungen, bei denen relevante Konzepte sehr ungleichmäßig verteilt sind, könnten jedoch steilere Skalierungseffekte möglich sein.

Diese Erkenntnisse haben auch Implikationen für das Design von Architekturen: Modelle, die die Superposition aktiv fördern, sollten bei gleicher Größe eine bessere Leistung erbringen. Ein Beispiel hierfür ist Nvidias nGPT, das interne Vektoren auf eine Einheitskugel zwingt und sie dadurch dichter packt.

Es gibt jedoch einen Vorbehalt: Je mehr Konzepte sich überlappen, desto schwieriger wird es, die genauen Vorgänge im Modell nachzuvollziehen. Dies stellt eine Herausforderung für die mechanistische Interpretierbarkeit und damit auch für die KI-Sicherheitsforschung dar.

Bibliographie

- Liu, Y., Liu, Z., & Gore, J. (2025). Superposition Yields Robust Neural Scaling. arXiv preprint arXiv:2505.10465. - Mertens, M., Fischl-Lanzoni, N., & Thompson, N. (2026). Is there “Secret Sauce” in Large Language Model Development? arXiv preprint arXiv:2602.07238. - Choshen, L., Zhang, Y., & Andreas, J. (2024). A Hitchhiker’s Guide to Scaling Law Estimation. arXiv preprint arXiv:2410.11840v1. - Gordon, R. (2023). MIT researchers make language models scalable self-learners. MIT News. - Gordon, R. (2024). From recurrent networks to GPT-4: Measuring algorithmic progress in language models. MIT CSAIL. - Written By. (2025). How to build AI scaling laws for efficient LLM training and budget maximization. MIT CSAIL. - Written By. (2026). 3 Questions: Is there a "secret sauce" in AI development? MIT CSAIL. - Parthknowsai. (2026). Why LLMs Will Hit a Wall (MIT Proved It). YouTube. - Dev, C. (2026). Why Do Bigger AI Models Perform Better? MIT Discovered the Mathematical Law Behind Scaling. BSWEN Blog.