Integration von Hugging Face Modellen in Microsoft Foundry und die Vorteile von Managed Compute

Integration von Hugging Face Modellen in Microsoft Foundry: Eine Analyse von Managed Compute

Die Landschaft der Künstlichen Intelligenz ist dynamisch und von ständiger Innovation geprägt. Insbesondere im Bereich der quelloffenen Modelle hat sich in den letzten Jahren eine rasante Entwicklung vollzogen. Microsoft hat auf diese Entwicklung reagiert und mit der Einführung von "Managed Compute" innerhalb seiner Foundry-Plattform eine Lösung geschaffen, die die Bereitstellung und den Betrieb von Hugging Face Modellen für Unternehmen wesentlich vereinfacht. Als Spezialist für KI-Technologien beleuchten wir für Sie die Implikationen dieser Integration und die Vorteile, die sich daraus für die B2B-Anwendung ergeben.

Microsoft Foundry und die Rolle von Managed Compute

Microsoft Foundry positioniert sich als eine umfassende Plattform für die Entwicklung und den Betrieb von agentenbasierten KI-Anwendungen. Sie zeichnet sich durch eine breite Auswahl an Modellen aus – von proprietären Lösungen führender Anbieter wie OpenAI und Anthropic bis hin zu einer Vielzahl quelloffener Modelle. Diese Vielfalt wird über einen einzigen Endpunkt und einheitliche SDKs in verschiedenen Programmiersprachen zugänglich gemacht.

Ein zentraler Bestandteil von Foundry ist der Foundry Agent Service, der die Orchestrierung von Multi-Agenten-Systemen ermöglicht. Er integriert Funktionen wie Gedächtnis, Wissensverankerung durch Foundry IQ und eine Bibliothek von Tools, die Agenten den Zugriff auf Unternehmensdaten erlauben. Die Plattform bietet zudem umfassende Überwachungsfunktionen, Echtzeit-Monitoring und kontinuierliche Evaluationen, um das Verhalten von Agenten zu optimieren.

Neben den bestehenden Bereitstellungsoptionen wie Pay-per-Token und Provisioned Throughput, die auf unterschiedliche Anforderungen zugeschnitten sind, führt Microsoft mit Foundry Managed Compute eine dritte Variante ein. Diese ist speziell als Managed GPU Platform-as-a-Service (PaaS) für quelloffene und kundenspezifische Modelle konzipiert. Sie entbindet Unternehmen von der Notwendigkeit, virtuelle Maschinen zu provisionieren, Kubernetes-Cluster zu betreiben oder eigene Container-Images zu erstellen und zu warten. Stattdessen übernimmt Microsoft die Verwaltung der GPU-Topologie, der Laufzeitumgebung, der Container-Images und der Sicherheitspatches.

Für Nutzer bedeutet dies, dass sie sich auf die Auswahl des Modells, einer Bereitstellungsvorlage und des Beschleunigertyps (z.B. NVIDIA A100, NVIDIA H100 oder AMD MI300X) sowie die Anzahl der Instanzen konzentrieren können. Die dahinterliegende Infrastruktur wird von Microsoft gemanagt, was eine erhebliche Reduzierung des operativen Aufwands darstellt. Die Konsistenz der Entwicklererfahrung bleibt dabei gewahrt: Managed Compute teilt sich denselben Endpunkt, dieselben SDKs, Authentifizierungsmechanismen und Beobachtbarkeitstools wie die anderen Bereitstellungsoptionen.

Die Bedeutung von Hugging Face für quelloffene KI-Modelle

Hugging Face hat sich als eine zentrale Plattform für die quelloffene KI-Community etabliert. Mit Millionen von Entwicklern, Hunderttausenden von Organisationen und über drei Millionen veröffentlichten Modellen fungiert es als eine Art "GitHub für KI-Modelle". Hier werden Modellgewichte veröffentlicht, Modellkarten erstellt, Evaluationen verglichen und Modelle für Experimente heruntergeladen. Die Plattform deckt eine breite Palette von Aufgaben ab, darunter Verarbeitung natürlicher Sprache, Computer Vision und Audioverarbeitung.

Die quelloffenen Modelle aus dem Hugging Face Ökosystem haben in den letzten Jahren eine bemerkenswerte Entwicklung durchgemacht und können in vielen Benchmarks mit proprietären Modellen konkurrieren. Sie bieten Vorteile, die proprietäre Endpunkte nicht ohne Weiteres leisten können:

• Spitzenleistung ist quelloffen: Führende quelloffene Modelle erreichen oft eine ähnliche Leistung wie die besten geschlossenen Modelle.
• Tiefgehende Anpassungsmöglichkeiten: Der Zugriff auf die vollständigen Modellgewichte ermöglicht Fine-Tuning, Destillation, Quantisierung und Anpassungen mittels LoRA, um Modelle präzise auf spezifische Domänen, Daten und Leistungsanforderungen zuzuschneiden.
• Kontrolle über die Infrastruktur: Die Modelle laufen im eigenen Tenant auf Infrastruktur, die von Ihnen kontrolliert wird, hinter Ihrem Inference-Endpunkt und innerhalb Ihrer Identitäts- und Netzwerkperimeter.
• Kostenoptimierung: Die Abrechnung erfolgt stundenweise für die Beschleuniger, mit der Möglichkeit des Scale-to-Zero bei Inaktivität und der passenden Dimensionierung der GPUs für spezifische Modelle. Dies ist besonders vorteilhaft für Workloads mit hohem Volumen oder geringer Latenz, bei denen eine tokenbasierte Preisgestaltung weniger vorhersehbar ist.
• Versionskontrolle: Spezifische Modellversionen können fixiert, evaluiert, bereitgestellt und nach Bedarf vor- oder zurückgerollt werden, was eine flexible Release-Kadenz ermöglicht.

Die Herausforderung bei der Nutzung quelloffener Modelle lag bisher oft in der operativen Komplexität: Entdeckung, Lizenzprüfung, Sicherheitsüberprüfung, Laufzeitauswahl, GPU-Dimensionierung, Image-Erstellung, CVE-Patching und die Bereitstellung des Modells hinter einem unternehmensgerechten Endpunkt. Hugging Face selbst ist keine Unternehmens-Serving-Plattform. Hier setzt die Integration von Hugging Face Modellen auf Foundry an, indem sie diese operative Schicht von Microsoft bereitstellen lässt.

Hugging Face Modelle auf Foundry: Der Kurationsprozess

Die Hugging Face Collection in Foundry bringt eine kuratierte Auswahl von Modellen direkt in den Foundry Model Catalog. Dieser Katalog wird wöchentlich aktualisiert, um die neuesten und beliebtesten Modelle aus dem Hugging Face Ökosystem zu integrieren. Er umfasst Modelle für verschiedene Modalitäten wie Text, Vision, Audio und Multimodalität, darunter Large Language Models (LLMs) und Vision-Language Models (VLMs) für Chat und Agenten, ASR und Sprachübersetzung, Embeddings, Segmentierung und Bildgenerierung.

Ein entscheidender Aspekt ist der mehrstufige Kurationsprozess, den Hugging Face und Microsoft gemeinsam durchführen, um die Modelle für den Unternehmenseinsatz vorzubereiten:

1. Identifikation von Trendmodellen: Basierend auf Community-Signalen, Partneranfragen und Kundenbedarf werden vielversprechende Modelle für die Unternehmensreife ausgewählt.
2. Compliance- und Sicherheitsprüfung: Lizenzen werden gemäß Microsofts Unternehmensverteilungsrichtlinien überprüft, und Repositories werden auf unsichere Code-Muster oder kundenspezifischen ausführbaren Code hin untersucht. Modelle, die die Ausführung von Drittanbieter-Python-Code zur Ladezeit erfordern würden, werden entweder angepasst oder ausgeschlossen.
3. Erstellung, Scan und Veröffentlichung von Laufzeitumgebungen: Microsoft erstellt Inferenz-Container-Images auf unterstützten Laufzeitumgebungen wie vLLM, SGLang, TensorRT-LLM, NIM, TEI und llama.cpp. Diese werden auf CVEs gescannt, signiert und in einem von Microsoft verwalteten Container-Register veröffentlicht.
4. Upload der Gewichte in sicheren Azure-Speicher: Modellgewichte werden einmalig von Hugging Face heruntergeladen, anhand der veröffentlichten Modellkarte validiert und in einem von Microsoft verwalteten Azure-Speicher in den Regionen abgelegt, in denen das Modell bereitgestellt wird.
5. Validierung und Veröffentlichung im Katalog: Jede Kombination aus Modell, Laufzeit und Beschleuniger wird auf API-Konformität (Chat-Vervollständigungen, Embeddings, Rerank, etc.) und Leistung (Latenz, Durchsatz, Time-to-First-Token, Inter-Token-Decode-Zeit) getestet. Anschließend wird das validierte Modell – mit seinen Vorlagen, Laufzeit-Images und Gewichten – im Foundry Model Catalog mit einem Ein-Klick-Bereitstellungspfad auf Managed Compute veröffentlicht.

Dieser Prozess stellt sicher, dass Unternehmen quelloffene Modelle ohne die Notwendigkeit eines externen Netzwerkzugriffs auf den Hugging Face Hub in einer privaten Netzwerkumgebung bereitstellen können, da die Modellgewichte bereits im Azure-Speicher und die Laufzeit-Images in einem von Microsoft verwalteten Register vorliegen.

Unterstützte Laufzeitumgebungen

Die Hugging Face Modelle auf Foundry nutzen eine vielseitige Sammlung von quelloffenen Inferenz-Laufzeitumgebungen, die für Managed Compute optimiert und auf die jeweiligen Modellarchitekturen abgestimmt sind. Der Kurationsprozess gewährleistet, dass neue Versionen und Patches schnell in Foundry landen und bestehende Modellbereitstellungen automatisch aktualisiert werden, ohne dass eine erneute Bereitstellung erforderlich ist.

• vLLM: Die Standard-Serving-Engine für hohe Durchsatzraten bei offenen Large Language Models, optimiert für Produktions-GPU-Workloads.
• SGLang: Eine Serving-Engine für Sprach- und Multimodal-Modelle, mit starker Unterstützung für strukturierte Ausgaben (JSON, Regex, Grammatik-eingeschränkte Generierung), die für agentenbasierte und Tool-nutzende Workloads wichtig sind.
• Text Embeddings Inference (TEI): Die Laufzeitumgebung für Embedding-, Reranker- und Sequenzklassifizierungsmodelle, mit beschleunigerspezifischen Images, die für jede von Foundry unterstützte GPU- und CPU-Familie kompiliert sind.
• llama.cpp: Der CPU- und Small-GPU-Pfad für GGUF-quantisierte Modelle, nützlich für kostenoptimierte Bereitstellungen, kleinere Modelle und reine CPU-Regionen.
• TensorRT-LLM und NIM: Werden auf NVIDIA-Hardware eingesetzt, wo NVIDIAs optimierte Kerne und Triton-basiertes Serving eine deutlich bessere Latenz oder einen höheren Durchsatz für spezifische Modellfamilien bieten.
• hf-serve: Der eigene Multi-Modell-Inferenzserver von Hugging Face, verwendet für Modellarchitekturen außerhalb der LLM- und Embedding-Fast-Pfade (Vision, Audio, Segmentierung und andere Transformers-native Pipelines), um alle Modalitäten mit einer konsistenten Serving-Schicht abzudecken.

Bereitstellung und Nutzung eines quelloffenen Modells

Die Bereitstellung eines Modells aus der Hugging Face Collection im Foundry Model Catalog erfolgt in wenigen Schritten:

1. Modellauswahl: Durchsuchen Sie den Katalog und wählen Sie ein Modell aus. Der Bereitstellungsassistent zeigt auch die Modell-ID, die Bereitstellungsvorlagen-ID und den acceleratorType an, die Sie bei einer skriptgesteuerten Bereitstellung über SDK oder REST benötigen.
2. Auswahl einer Bereitstellungsvorlage: Hier wählen Sie zwischen Latenz- oder Durchsatz-optimierten Vorlagen, der Beschleunigerfamilie, der Kontextlänge und der Quantisierung.
3. Konfiguration der Instanzanzahl: Skalieren Sie den Durchsatz durch Hinzufügen weiterer Modellinstanzen.
4. Bereitstellung: Dies kann über das Portal, die CLI, das SDK oder REST erfolgen.
5. Scoring: Die Bewertung erfolgt über den vereinheitlichten Foundry-Endpunkt mit dem von Ihnen verwendeten SDK.

Eine Bereitstellungsvorlage ist eine benannte und versionierte Ressource, die die Laufzeitumgebung, die Beschleunigerfamilie und -anzahl, die Kontextlänge und die laufzeitspezifische Feinabstimmung festlegt. Dies vereinfacht die Konfiguration erheblich, da alle Einstellungen von Microsoft vorgenommen werden und mögliche Kompromisse in der Vorlagenbeschreibung erläutert werden. Die Integration in agentenbasierte Anwendungen ist ebenfalls nahtlos möglich, da quelloffene Modelle als admin-verbundene Modelle in Foundry Agents verwendet werden können.

Fazit und Ausblick

Die Integration von Hugging Face Modellen in Microsoft Foundry über Managed Compute stellt einen bedeutenden Schritt dar, um die Nutzung quelloffener KI-Modelle für Unternehmen zugänglicher und effizienter zu gestalten. Durch die Übernahme der operativen Komplexität durch Microsoft können sich Unternehmen auf die Entwicklung und Anwendung von KI-Lösungen konzentrieren, anstatt sich mit Infrastrukturmanagement und Sicherheitsfragen auseinanderzusetzen. Die kuratierte Sammlung, der strenge Kurationsprozess und die Unterstützung vielfältiger Laufzeitumgebungen gewährleisten dabei eine hohe Qualität und Sicherheit der bereitgestellten Modelle.

Die Verfügbarkeit im Preview-Modus mit Unterstützung für verschiedene Beschleunigerfamilien und globale sowie Data Zone Scopes bietet Unternehmen bereits heute die Möglichkeit, diese Vorteile zu nutzen. Zukünftige Entwicklungen umfassen eine noch breitere Abdeckung des Hugging Face Ökosystems, zusätzliche Beschleunigerfamilien und die Möglichkeit, eigene Gewichte (Bring Your Own Weights) für feinabgestimmte oder proprietäre Varianten über dieselben Vorlagen und Governance-Mechanismen bereitzustellen. Diese Initiative unterstreicht das Engagement von Microsoft, die Leistungsfähigkeit quelloffener KI mit der Zuverlässigkeit und den Sicherheitsstandards einer Unternehmensplattform zu verbinden.

Bibliographie

• Hugging Face Blog. (2026, 7. Juli). Hugging Face Models on Foundry Managed Compute. Abrufbar unter: https://huggingface.co/blog/microsoft/foundry-managed-compute
• Hugging Face Docs. Deploy Hugging Face Models in Foundry with Managed Compute. Abrufbar unter: https://huggingface.co/docs/microsoft-azure/guides/managed-compute-foundry
• Microsoft Learn. Managed compute in Microsoft Foundry (Preview). Abrufbar unter: https://learn.microsoft.com/en-us/azure/foundry/concepts/managed-compute-overview
• Microsoft Foundry Blog. (2026, 3. Juni). Announcing Foundry Managed Compute: Run open models in Microsoft Foundry. Abrufbar unter: https://devblogs.microsoft.com/foundry/announcing-foundry-managed-compute/
• Hugging Face Docs. One-click deployments from the Hugging Face Hub on Microsoft Foundry. Abrufbar unter: https://huggingface.co/docs/microsoft-azure/guides/one-click-deployment-foundry
• Microsoft Learn. Deploy Hugging Face Hub models in Microsoft Foundry (classic). Abrufbar unter: https://learn.microsoft.com/en-us/azure/foundry-classic/how-to/deploy-models-managed-hugging-face
• Hugging Face Docs. Hugging Face on Microsoft Foundry. Abrufbar unter: https://huggingface.co/docs/microsoft-azure/foundry/introduction
• Microsoft Learn. Microsoft Foundry Models overview. Abrufbar unter: https://learn.microsoft.com/en-us/azure/foundry/concepts/foundry-models-overview
• Hugging Face Docs. Deploy Large Language Models (LLMs) on Microsoft Foundry. Abrufbar unter: https://huggingface.co/docs/microsoft-azure/foundry/examples/deploy-large-language-models