Neue Ansätze zur Skalierung von KI-Modellen im Agentenbereich

Im Bereich der Künstlichen Intelligenz ist die Skalierung von Modellen ein zentrales Thema. Traditionell wurde die Leistungsfähigkeit von KI-Systemen oft an der Anzahl ihrer Parameter gemessen. Je mehr Parameter ein Modell besitzt, desto komplexer kann es in der Regel sein und desto leistungsfähiger wird es eingeschätzt. Eine aktuelle Entwicklung aus dem Shanghai Artificial Intelligence Laboratory stellt diese Annahme jedoch infrage und schlägt einen neuen Pfad vor: die Skalierung des Agentenhorizonts anstelle der reinen Parameteranzahl.

Eine neue Perspektive auf die Skalierung von KI-Modellen

Die Forschungsgruppe hat ein Modell namens Agents-A1 vorgestellt, das mit 35 Milliarden Parametern (als Mixture-of-Experts-Modell) eine Performance erzielt, die mit Modellen im Billionen-Parameter-Bereich vergleichbar ist. Dieser Ansatz, der unter dem Titel „Scaling the Horizon, Not the Parameters: Reaching Trillion-Parameter Performance with a 35B Agent“ publiziert wurde, markiert eine potenzielle Verschiebung in der Entwicklung leistungsfähiger KI-Agenten.

Die Herausforderung langer Horizonte

Große Sprachmodelle (LLMs) haben in den letzten Jahren erhebliche Fortschritte gemacht und entwickeln sich zunehmend von passiven Sprachmodellen zu autonomen Agenten. Diese Agenten sind in der Lage zu planen, Werkzeuge zu nutzen, mit Umgebungen zu interagieren und sich durch Feedback zu verbessern. Insbesondere in realen Szenarien wie Software-Engineering, wissenschaftlicher Forschung oder komplexen Entscheidungsprozessen müssen Agenten über lange Horizonte agieren. Dies bedeutet, dass sie Informationen akquirieren, Aufgaben zerlegen, Werkzeuge einsetzen, Zwischenergebnisse verifizieren und ihre Strategien kontinuierlich anpassen müssen. Solche Lang-Horizont-Einstellungen stellen eine besondere Herausforderung dar, da frühe Fehler sich akkumulieren und zu suboptimalen Ergebnissen führen können.

Der Ansatz von Agents-A1: Horizont-Skalierung

Agents-A1 adressiert diese Herausforderung durch eine innovative Herangehensweise an die Horizont-Skalierung. Dies wird aus zwei Hauptperspektiven untersucht:

• Skalierung langer Trajektorien: Dies bezieht sich auf die Fähigkeit des Agenten, über viele aufeinanderfolgende Schritte hinweg kohärent und zielgerichtet zu agieren.
• Skalierung heterogener Agentenfähigkeiten: Hierbei geht es um die Integration und Koordination verschiedener Fähigkeiten wie Informationssuche, Problemlösung, Werkzeugnutzung und strategische Planung.

Um diese Ziele zu erreichen, wurde eine sogenannte "Long-Horizon Knowledge-Action Infrastructure" entwickelt. Diese Infrastruktur verbindet externes Wissen, Aktionen, Beobachtungen und Verifizierergebnisse miteinander. Sie generiert agentische Trajektorien mit einer durchschnittlichen Länge von 45.000 Tokens, was die Komplexität und den Umfang der Aufgaben verdeutlicht, die Agents-A1 bearbeiten kann.

Architektur und Trainingsstrategie

Agents-A1 ist als 35B Mixture-of-Experts (MoE) Modell konzipiert. MoE-Modelle ermöglichen es, spezialisierte Expertenteile innerhalb eines größeren Modells zu aktivieren, wodurch sie effizienter arbeiten können, da nicht alle Parameter bei jeder Berechnung genutzt werden müssen. Dies trägt zur Effizienz des Modells bei, da es weniger Rechenressourcen benötigt als ein dichtes Modell mit vergleichbarer Leistung.

Dreistufiges Trainingsrezept

Das Training von Agents-A1 erfolgt in einem dreistufigen Prozess:

1. Full-Domain Supervised Fine-Tuning (SFT): In dieser Phase wird das Basismodell mit einem breiten Spektrum an agentischen Aufgaben ausgerichtet. Dies stellt sicher, dass das Modell über ein grundlegendes Verständnis für verschiedene Arten von Interaktionen und Problemlösungen verfügt.
2. Reward Modeling: Hier lernt das Modell, gute von schlechten Aktionen zu unterscheiden, indem es Feedbackschleifen und Belohnungssignale analysiert. Dies ist entscheidend für die Verbesserung der Entscheidungsfindung des Agenten über längere Zeiträume.
3. Reinforcement Learning (RL): In der letzten Phase wird das Modell durch verstärktes Lernen in komplexen Umgebungen weiter optimiert. Hierbei kann der Agent aus seinen Erfahrungen lernen und seine Strategien autonom anpassen.

Diese umfassende Trainingsstrategie ermöglicht es Agents-A1, heterogene agentische Fähigkeiten über verschiedene Domänen hinweg zu skalieren. Dazu gehören Bereiche wie Long-Horizon Search, Software-Engineering, wissenschaftliche Forschung, Befolgung von Anweisungen und Werkzeugaufrufe. Die Fähigkeit zur Tiefenexploration und die Bewältigung langer Kontexte sind dabei zentrale Aspekte, die durch die Architektur und das Training adressiert werden.

Implikationen für die B2B-Anwendung

Die Erkenntnisse aus der Entwicklung von Agents-A1 sind für Unternehmen im B2B-Sektor von großer Relevanz. Sie deuten darauf hin, dass die Leistungsfähigkeit von KI-Agenten nicht ausschließlich von der schieren Größe der Modelle abhängt. Stattdessen rückt die Qualität und Struktur der Interaktionen, die Fähigkeit zur Langzeitplanung und die Integration externen Wissens in den Vordergrund.

Effizienz und Ressourcenschonung

Ein 35B-Modell, das die Leistung eines Billionen-Parameter-Modells erreicht, verspricht erhebliche Vorteile in Bezug auf Rechenressourcen, Energieverbrauch und Implementierungskosten. Dies könnte die Entwicklung und den Einsatz von KI-Agenten auch für Unternehmen mit begrenzten Budgets oder Infrastrukturen zugänglicher machen.

Anwendungsfelder

Die verbesserte Fähigkeit, über lange Horizonte zu agieren und heterogene Aufgaben zu bewältigen, eröffnet neue Möglichkeiten in verschiedenen Geschäftsbereichen:

• Automatisierung komplexer Workflows: Agenten könnten in der Lage sein, mehrstufige Prozesse in der Softwareentwicklung, im Finanzwesen oder in der Logistik autonom zu steuern und zu optimieren.
• Intelligente Assistenzsysteme: Systeme, die in der Lage sind, komplexe Anfragen zu verstehen, relevante Informationen aus verschiedenen Quellen zu aggregieren und fundierte Entscheidungsvorschläge zu unterbreiten, könnten den Kundenservice oder die interne Wissensverwaltung revolutionieren.
• Forschung und Entwicklung: In der wissenschaftlichen Forschung könnten Agenten dabei helfen, Hypothesen zu generieren, Experimente zu planen und Daten zu analysieren, was den Innovationsprozess beschleunigt.

Die Zukunft der Agenten-Skalierung

Die Forschung an Agents-A1 und ähnlichen Projekten, die sich mit der "Science of Scaling Agent Systems" beschäftigen, legt nahe, dass der Fokus sich von der reinen Modellskalierung hin zur Systemskalierung verlagert. Hierbei geht es um die Entwicklung auditierbarer, persistenter, modularer und verifizierbarer Architekturen um die Grundmodelle herum. Dieser Paradigmenwechsel, oft als "Scaling the Harness" bezeichnet, betont die Bedeutung der strukturierten Ausführungsebene um ein Fundamentmodell als primäres Objekt für Design, Bewertung und Optimierung.

Zusammenfassend lässt sich festhalten, dass die Entwicklung von Agents-A1 einen wichtigen Schritt in Richtung effizienterer und leistungsstärkerer KI-Agenten darstellt. Die Konzentration auf die Skalierung des Agentenhorizonts statt der reinen Parameteranzahl könnte die Art und Weise, wie wir KI-Systeme entwickeln und einsetzen, nachhaltig beeinflussen und neue Potenziale für innovative B2B-Lösungen erschließen.

Bibliography: - Bai, Lei et al. "Scaling the Horizon, Not the Parameters: Reaching Trillion-Parameter Performance with a 35B Agent." arXiv preprint arXiv:2606.30616 (2026). - InternScience/Agents-A1. "Hugging Face." https://huggingface.co/InternScience/Agents-A1. - Gu, Shangding. "From Model Scaling to System Scaling: Scaling the Harness in Agentic AI." arXiv preprint arXiv:2605.26112 (2026). - Kim, Yubin et al. "Towards a Science of Scaling Agent Systems." arXiv preprint arXiv:2512.08296 (2025).