Poolside AI präsentiert neue Modelle Laguna M.1 und XS.2 mit innovativer Trainingsinfrastruktur

Poolside AI veröffentlicht technische Berichte zu Laguna M.1 und XS.2: Einblicke in die Model Factory

Das auf Künstliche Intelligenz spezialisierte Unternehmen Poolside AI hat kürzlich detaillierte technische Berichte zu seinen neuesten Modellen, Laguna M.1 und Laguna XS.2, publiziert. Diese Veröffentlichung gewährt tiefe Einblicke in die Entwicklung, Architektur und die zugrunde liegende "Model Factory" Infrastruktur, die Poolside für das Training seiner Modelle nutzt. Die Modelle sind primär auf "agentisches Codieren" ausgelegt, eine Disziplin, bei der KI-Agenten in der Lage sind, komplexe Programmieraufgaben eigenständig zu lösen, Code zu debuggen und zu optimieren.

Die Laguna-Modellfamilie: M.1 und XS.2 im Detail

Poolside hat mit Laguna M.1 und Laguna XS.2 zwei Modelle vorgestellt, die unterschiedliche Anwendungsbereiche abdecken, jedoch beide auf dem Mixture-of-Experts (MoE)-Ansatz basieren. MoE-Modelle zeichnen sich dadurch aus, dass sie für jede Eingabe nur eine Teilmenge ihrer Parameter aktivieren, was zu einer effizienteren Inferenz bei gleichzeitig hoher Gesamtparameterzahl führt.

Laguna M.1: Das Flaggschiff für komplexe Aufgaben

Laguna M.1 ist das leistungsstärkste Modell der Familie mit insgesamt 225 Milliarden Parametern, von denen 23 Milliarden pro Token aktiv sind. Es wurde auf 30 Billionen Tokens unter Einsatz von 6.144 NVIDIA H200 GPUs trainiert. Dieses Modell ist für anspruchsvolle Aufgaben im Bereich des agentischen Codierens konzipiert, die mehrere Schritte, die Nutzung von Werkzeugen und Validierung erfordern. Es soll sich besonders bei der Fehlersuche in Codebasen, der Erkundung unbekannten Codes und der Ausführung längerer Aufgabenketten bewähren. Auf dem SWE-bench Verified Benchmark erreichte Laguna M.1 eine Leistung von 72,5 % und auf SWE-bench Pro 46,9 %.

Laguna XS.2: Das quelloffene Leichtgewicht

Laguna XS.2 stellt das kleinere, aber dennoch leistungsfähige Gegenstück dar. Mit 33 Milliarden Gesamtparametern und lediglich 3 Milliarden aktiven Parametern ist es darauf ausgelegt, auf einer einzelnen GPU oder sogar auf einem Mac mit 36 GB RAM lokal ausgeführt zu werden. Dies macht es zu einem attraktiven Modell für Entwickler und Forscher, die quelloffene Lösungen bevorzugen. Poolside hat Laguna XS.2 unter der Apache 2.0 Lizenz auf Hugging Face veröffentlicht. Die Performancewerte sind bemerkenswert: 68,2 % auf SWE-bench Verified und 44,5 % auf SWE-bench Pro. Dies unterstreicht die Effizienz des MoE-Ansatzes, der es ermöglicht, mit einer geringeren Anzahl aktiver Parameter eine konkurrenzfähige Leistung zu erzielen.

Die "Model Factory": Eine innovative Trainingsinfrastruktur

Ein zentraler Bestandteil der Entwicklung dieser Modelle ist die von Poolside entwickelte "Model Factory". Diese interne Plattform ermöglicht das Training, die Skalierung und das Experimentieren mit grundlegenden Modellen. Sie integriert automatisierte Evaluationen während des Trainings, Reinforcement Learning (RL) aus Code-Ausführungen, architektonische Ablationen, synthetische Datengenerierung und Datenmischung – alles orchestriert über GPU-Cluster. Durch diesen Ansatz können Experimente, die früher Wochen dauerten, nun innerhalb einer Stunde durchgeführt werden.

Innovative Trainingsmethoden

Poolside setzt auf mehrere innovative Methoden zur Optimierung des Trainingsprozesses:

• Muon-Optimierer: Anstelle des weit verbreiteten AdamW-Optimierers verwendet Poolside eine verteilte Implementierung des Muon-Optimierers. Dies führte in den anfänglichen Pre-Training-Ablationen zu derselben Verlustfunktion in etwa 15 % weniger Schritten und erforderte nur einen Zustand pro Parameter, was den Speicherbedarf reduziert.
• AutoMixer: Um die Datenmischung zu optimieren, hat Poolside ein AutoMixing-Framework entwickelt. Dieses trainiert eine Vielzahl von Proxy-Modellen auf unterschiedlichen Datenmischungen und misst deren Leistung über verschiedene Fähigkeitsgruppen hinweg (Code, Mathematik, MINT, gesunder Menschenverstand). Dies ermöglicht eine lernbasierte Optimierung der Datenzusammensetzung, wobei synthetische Daten etwa 13 % des endgültigen Trainingsmixes von Laguna XS.2 ausmachen.
• Asynchrones On-Policy Agent RL: Das asynchrone Online-RL-System von Poolside ermöglicht es, Inferenz- und Trainingsprozesse parallel auszuführen. Akteure ziehen Aufgaben aus einem Datensatz, starten isolierte Container und führen das Agent-Binary mit dem frisch bereitgestellten Modell aus. Die generierten Trajektorien werden bewertet, gefiltert und in Iceberg-Tabellen geschrieben, während der Trainer kontinuierlich diese Aufzeichnungen konsumiert und den nächsten Checkpoint generiert.

Architektur und Effizienz

Die Architektur von Laguna XS.2 beinhaltet spezifische Effizienzentscheidungen. Dazu gehören Sigmoid-Gating mit per-Layer-Rotary-Skalen und ein gemischtes Sliding Window Attention (SWA) und globales Attention-Layout. SWA begrenzt die Aufmerksamkeit jedes Tokens auf ein lokales Fenster von 512 Tokens, was den KV-Cache-Speicher reduziert, während globale Attention-Layer langfristige Abhängigkeiten aufrechterhalten. Eine Quantisierung des KV-Caches auf FP8 trägt ebenfalls zur weiteren Reduzierung des Speichers bei. Das Modell unterstützt ein Kontextfenster von 131.072 Tokens und verfügt über eine native Argumentationsunterstützung, die ein verschachteltes Denken zwischen Tool-Aufrufen ermöglicht.

Benchmarking und Vergleich

Die von Poolside durchgeführten Benchmarks basieren auf dem Laude Institute's Harbor Framework und dem eigenen Agent-Harness. Es wurden durchschnittlich drei bis sieben Läufe pro Benchmark durchgeführt. Es ist zu beachten, dass Poolside für die Vergleichsmodelle jeweils die höchsten öffentlich referenzierten Ergebnisse herangezogen hat. Unabhängige Überprüfungen könnten hier weitere Klarheit über die genaue Positionierung der Laguna-Modelle im Wettbewerbsumfeld schaffen.

Die Bedeutung für die B2B-Zielgruppe

Für Unternehmen im B2B-Bereich, insbesondere solche, die sich mit Softwareentwicklung, Automatisierung und der Implementierung von KI-gestützten Lösungen befassen, bieten die Laguna-Modelle und die Einblicke in Poolsides "Model Factory" relevante Informationen. Die Fähigkeit, komplexe Codierungsaufgaben zu automatisieren, die Effizienz des Entwicklungszyklus zu steigern und die Qualität der Software zu verbessern, sind direkte Vorteile, die sich aus der Anwendung solcher spezialisierten KI-Modelle ergeben können. Die Verfügbarkeit eines quelloffenen, leistungsfähigen Modells wie Laguna XS.2 eröffnet zudem Möglichkeiten für die Anpassung und Integration in bestehende Infrastrukturen, ohne an proprietäre Lösungen gebunden zu sein. Die technischen Details zur Trainingsinfrastruktur unterstreichen die Innovationskraft von Poolside und könnten als Inspiration für eigene Entwicklungsstrategien dienen.

Ausblick

Poolside AI positioniert sich mit der Laguna-Modellfamilie und seiner "Model Factory" als ein Akteur, der darauf abzielt, die Entwicklung von Software durch agentische KI grundlegend zu verändern. Die Veröffentlichung der technischen Berichte ist ein Schritt, um die Transparenz und den Austausch innerhalb der KI-Gemeinschaft zu fördern. Die weitere Entwicklung dieser Modelle und der zugrunde liegenden Infrastruktur bleibt ein wichtiger Beobachtungspunkt für die Fortschritte im Bereich der generativen KI und des agentischen Codierens.

Bibliography: - Poolside AI Blog: "Introducing Laguna XS.2 and Laguna M.1", "The hidden engineering behind foundation model building", "Designing a world-class code execution environment" - Poolside AI Models: "Models — Poolside" - Poolside AI Docs: "Laguna M.1 release notes" - MarkTechPost: "Poolside AI Introduces Laguna XS.2 and M.1: Agentic Coding Models Reaching 68.2% and 72.5% on SWE-bench Verified" - ToKnow.ai: "Poolside Laguna M.1 and XS.2: A $626M Startup’s First Public Models Target Agentic Coding" - aiHola: "Poolside opens Laguna coding models to the public" - Baseten: "How Baseten powered Poolside's model launch in record time" - Niels Rogge (X-Post): "The technical report of @poolsideai is now available here too: https://paperswithcode.co/paper/83726 See the evals at the bottom to compare to others!"