Effiziente Verwaltung und Skalierung von Sprachmodellen mit MinT

Revolution in der KI-Infrastruktur: MinT optimiert Training und Bereitstellung von LLMs

Die schnelle Entwicklung im Bereich der großen Sprachmodelle (LLMs) hat zu einem wachsenden Bedarf an effizienten Infrastrukturlösungen geführt, die das Training und die Bereitstellung dieser komplexen Modelle skalieren können. Insbesondere die Nutzung von feingranularen Anpassungen, wie sie durch Low-Rank Adaptation (LoRA) ermöglicht werden, stellt Unternehmen vor Herausforderungen hinsichtlich des Managements und der Performance. Eine aktuelle Entwicklung, das MindLab Toolkit (MinT), verspricht hier Abhilfe und bietet eine verwaltete Infrastruktur, die darauf ausgelegt ist, Millionen von LLM-LoRA-Adaptern effizient zu trainieren und bereitzustellen.

Die Herausforderung der LLM-Skalierung

Traditionelle Methoden zum Training und zur Bereitstellung von LLMs erfordern oft das Kopieren und Speichern vollständiger Modell-Checkpoints für jede Variante eines Modells. Dies führt zu erheblichen Speicher- und Rechenkosten, insbesondere wenn eine Vielzahl spezialisierter Modelle für unterschiedliche Aufgaben benötigt wird. Mit der Zunahme von anwendungsspezifischen LLMs, die durch Techniken wie LoRA angepasst werden, verschärft sich dieses Problem. LoRA ermöglicht es, nur einen kleinen Satz von trainierbaren Parametern anzupassen, anstatt das gesamte Modell neu zu trainieren, was die Effizienz des Trainings erhöht. Die Herausforderung besteht jedoch darin, diese Millionen von LoRA-Adaptern effizient zu verwalten und in Echtzeit bereitzustellen.

MinT: Eine innovative Lösung für das Adapter-Management

MinT, kurz für MindLab Toolkit, ist ein Infrastruktursystem, das speziell für das Training und Serving von LoRA-Adaptern entwickelt wurde. Der Kernansatz von MinT besteht darin, das zugrunde liegende Basismodell im Speicher zu halten und lediglich die kleinen LoRA-Adapter-Revisionen zu verschieben. Diese Adapter können in Rank-1-Einstellungen weniger als 1 % der Größe des Basismodells ausmachen. Dies reduziert den Overhead erheblich, da keine vollständigen Modell-Checkpoints mehr materialisiert werden müssen.

Das System abstrahiert die Komplexität verteilter Trainings-, Bereitstellungs-, Planungs- und Datenverschiebevorgänge hinter einer Service-Schnittstelle. Dies ermöglicht es Entwicklern, sich auf die Definition von Daten, Trainings- und Sampling-Konfigurationen zu konzentrieren, während MinT die zugrunde liegenden Infrastrukturdetails handhabt.

Die drei Skalierungsachsen von MinT:

• Scale Up: MinT erweitert LoRA RL auf hochskalierte dichte Architekturen und Mixture-of-Experts (MoE), einschließlich MLA- und DSA-Aufmerksamkeitspfade. Das Training und Serving wurde für Modelle mit über einer Billion Parametern validiert.
• Scale Down: Durch das Verschieben ausschließlich des exportierten LoRA-Adapters, der sehr klein sein kann, werden die Übertragungszeiten zwischen Training und Bereitstellung drastisch reduziert. Bei einem 4B-Modell konnte eine Beschleunigung um das 18,3-fache und bei einem 30B-MoE-Modell um das 2,85-fache erreicht werden. Gleichzeitige Multi-Policy-GRPO-Ansätze verkürzen die Wandzeit zusätzlich ohne Erhöhung des Spitzenspeichers.
• Scale Out: MinT trennt die dauerhafte Adressierbarkeit von Richtlinien von den CPU/GPU-Arbeitssätzen. Eine parallelisierte Bereitstellung unterstützt Kataloge im Millionenbereich (getestet bis 100.000) und Tausende aktiver Adapterwellen auf Clusterebene. Das Laden "kalter" Adapter wird dabei als geplante Servicearbeit behandelt, und gepackte MoE-LoRA-Tensoren verbessern das Live-Engine-Laden um das 8,5- bis 8,7-fache.

Praktische Anwendungen und Vorteile

MinT ermöglicht es Teams, Reinforcement Learning mit großen Modellen schnell zu starten und kontinuierlich zu iterieren. Durch die Bereitstellung eines verwalteten Trainingsdienstes über ein Python SDK können Entwickler ihre Setups kostengünstig validieren und bei Bedarf skalieren. Die Kompatibilität mit modernen Open-Model-Familien wie Qwen3, DeepSeek V3 und Kimi K2 sowie multimodal- und robotikorientierten Modellen erweitert das Anwendungsspektrum erheblich.

Beispiele für den Einsatz von MinT sind:

• Forschungslabore: Universitäten wie Tsinghua und SJTU nutzen MinT, um die Grenzen des Reinforcement Learning zu erforschen und verkörperte Entscheidungsfindungsmodelle zu verbessern.
• Startups: EigenAI experimentiert mit MinT für agentenbasiertes RL-Training auf 1T-Modellen. Maschine Robot nutzt MinT zur Unterstützung ihres Gehirn-Computer-Schnittstellen-Agenten für affektive Konversationsinteraktionen.
• Medizinische Anwendungen: Mindical Health setzt MinT für RL-basiertes Post-Training von Modellen zur medizinischen Kodierung ein, was zu einer erheblichen Steigerung der Genauigkeit und erfolgreichen Implementierung in Krankenhäusern führt.

Die Fähigkeit, Millionen von LoRA-Richtlinienkatalogen zu verwalten und ausgewählte Adapterrevisionen über gemeinsam genutzte 1T-Klasse-Basismodelle zu trainieren und bereitzustellen, stellt einen signifikanten Fortschritt dar. Dies ebnet den Weg für eine massive Personalisierung von KI-Anwendungen, ohne die damit verbundenen Infrastrukturkosten zu erhöhen.

Vergleich mit bestehenden Lösungen

Im Vergleich zu herkömmlichen Ansätzen, bei denen jede Richtlinie als ein zusammengeführtes, vollständiges Checkpoint materialisiert wird, bietet MinT eine deutliche Effizienzsteigerung. Die Trennung des Basismodells von den Adaptern minimiert den Datenverkehr und die Rechenlast, die beim Wechsel zwischen verschiedenen Modellvarianten anfällt. Dies ist besonders relevant für Szenarien, in denen eine schnelle Anpassung und Bereitstellung neuer Modellversionen erforderlich ist, wie es beispielsweise im Bereich der agentenbasierten KI der Fall ist.

Ähnliche Herausforderungen bei der Skalierung von KI-Inferenzplattformen wurden von Unternehmen wie Superhuman und Databricks adressiert. Dort wurde eine Plattform entwickelt, die über 200.000 Anfragen pro Sekunde (QPS) mit geringer Latenz verarbeiten kann, indem sie unter anderem FP8-Quantisierung und CPU-seitige Optimierungen einsetzt. MinT konzentriert sich jedoch spezifisch auf das Management und die Bereitstellung von LoRA-Adaptern, was eine andere Art der Optimierung erfordert und ergänzt bestehende Ansätze.

Fazit und Ausblick

MinT repräsentiert einen wichtigen Schritt in Richtung einer effizienteren und skalierbareren Infrastruktur für das Training und die Bereitstellung von LLMs. Durch die strategische Nutzung von LoRA-Adaptern und eine intelligente Verwaltung der Modellkomponenten können Unternehmen die Vorteile großer Sprachmodelle in einem breiteren Spektrum von Anwendungen nutzen, ohne von übermäßigen Rechen- und Speicherkosten eingeschränkt zu werden. Diese Entwicklung unterstreicht die Bedeutung robuster und flexibler Infrastrukturlösungen für die zukünftige Entwicklung und Anwendung von künstlicher Intelligenz.

Bibliographie

• Mind Lab. (2026). MinT: RL Infrastructure for Experiential Intelligence. Abrufbar unter: https://macaron.im/mindlab/research/mint-rl-infrastructure-for-experiential-intelligence
• Mind Lab. (n.d.). Quickstart. Abrufbar unter: https://mint-doc.macaron.im/en/demo/quickstart
• AI Research Roundup. (2026, 13. Mai). MinT: Scaling Millions of LLM LoRA Adapters [Video]. YouTube. Abrufbar unter: https://www.youtube.com/watch?v=xA82p20ZM00
• Databricks Blog. (2026, 8. Mai). How Superhuman and Databricks built a 200K QPS inference platform together. Abrufbar unter: https://www.databricks.com/blog/how-superhuman-and-databricks-built-200k-qps-inference-platform-together
• Zhou, C., et al. (2026). MinT: Managed Infrastructure for Training and Serving Millions of LLMs. arXiv preprint arXiv:2605.13779. Abrufbar unter: https://arxiv.org/abs/2605.13779