Partnerschaft zwischen Hugging Face und SkyPilot für cloud-agnostischen Speicher in der KI-Infrastruktur

Revolution in der KI-Infrastruktur: Hugging Face und SkyPilot eliminieren Cloud-Lock-in durch Zero-Egress-Speicher

Die Landschaft der Künstlichen Intelligenz (KI) unterliegt einer ständigen Weiterentwicklung, wobei die Effizienz und Flexibilität der zugrundeliegenden Infrastruktur eine zentrale Rolle spielen. Eine aktuelle Entwicklung, die das Potenzial hat, die Art und Weise, wie KI-Modelle und Daten gehandhabt werden, grundlegend zu verändern, ist die strategische Partnerschaft zwischen Hugging Face und SkyPilot. Diese Kooperation zielt darauf ab, eines der größten Hindernisse in der Cloud-basierten KI-Entwicklung zu überwinden: die sogenannten Egress Fees und den damit verbundenen Cloud-Lock-in.

Die Herausforderung der Cloud-Abhängigkeit und Datentransferkosten

Für viele Unternehmen, die im Bereich der KI tätig sind, stellen die Speicherung großer Modelle und Datensätze sowie die damit verbundenen Kosten für den Datentransfer zwischen verschiedenen Cloud-Diensten oder Regionen eine erhebliche Belastung dar. Derzeit werden Modelle und Datensätze häufig in Speicherdiensten eines bestimmten Cloud-Anbieters abgelegt. Wenn jedoch Rechenressourcen, insbesondere GPUs für Training und Inferencing, auf einer anderen Cloud-Plattform oder in einer anderen Region benötigt werden, entstehen hohe Kosten für den Datentransfer (Egress Fees). Diese Gebühren können die Flexibilität bei der Wahl der optimalen Rechenressourcen einschränken und führen zu einer Abhängigkeit von einem einzigen Anbieter, einem sogenannten „Cloud-Lock-in“.

Dieser Zustand bedeutet, dass die Entscheidung für eine bestimmte Infrastruktur oft nicht auf Basis von Leistung, Zuverlässigkeit oder Kostenoptimierung getroffen werden kann, sondern durch die Notwendigkeit, Daten an einem bestimmten Ort zu halten, um übermäßige Transfergebühren zu vermeiden. Dies bremst Innovationen und erschwert es Unternehmen, die effizientesten und kostengünstigsten Lösungen für ihre spezifischen KI-Workloads zu nutzen.

Die gemeinsame Lösung: Zero-Egress-Speicher

Hugging Face, eine Plattform, die sich als zentrale Anlaufstelle für KI-Modelle, Datensätze und Anwendungen etabliert hat, hat in Zusammenarbeit mit SkyPilot, einem Open-Source-Tool zur Orchestrierung von KI-Workloads über verschiedene Infrastrukturen hinweg, eine Lösung für diese Herausforderung entwickelt. Die Kernidee besteht darin, Modelle und Datensätze auf der Hugging Face Hub-Plattform zu speichern und gleichzeitig SkyPilot zu nutzen, um die Rechenleistung (Entwicklung, Training oder Serving) auf jeder beliebigen Infrastruktur bereitzustellen, die die benötigten GPUs anbietet.

Die Integration ermöglicht es Nutzern, Hugging Face Buckets oder andere Repositories des Hubs direkt in SkyPilot-Jobs einzubinden. Dies wird durch die Einführung einer neuen Speicher-Backend-Option in SkyPilot realisiert, die den Zugriff auf Hugging Face Storage über eine hf://-URL ermöglicht. Ein wesentliches Merkmal dieser Integration ist der sogenannte "Zero-Egress-Speicher". Dies bedeutet, dass beim Zugriff auf Daten, die auf Hugging Face gespeichert sind, keine oder nur minimale Kosten für den Datentransfer anfallen, selbst wenn die Rechenressourcen auf einer externen Cloud-Plattform wie AWS, Azure oder GCP oder in lokalen Rechenzentren (On-Premise) genutzt werden.

Vorteile für die KI-Entwicklung

Die Einführung des Zero-Egress-Speichers durch Hugging Face und SkyPilot bietet eine Reihe von potenziellen Vorteilen für Entwickler und Unternehmen im KI-Bereich:

• Erhöhte Flexibilität: KI-Teams erhalten die Freiheit, GPUs auf Basis von Leistung, Zuverlässigkeit und Kosten auszuwählen, anstatt durch den Speicherort ihrer Daten eingeschränkt zu sein. Dies ermöglicht eine optimale Nutzung der verfügbaren Ressourcen.
• Kostenoptimierung: Durch die Eliminierung oder drastische Reduzierung der Egress Fees können erhebliche Kosteneinsparungen erzielt werden, insbesondere bei großen Datensätzen und häufigen Datenzugriffen.
• Reduzierung des Cloud-Lock-ins: Die Abhängigkeit von einem einzelnen Cloud-Anbieter wird verringert, da Daten und Modelle auf einer neutralen Plattform gespeichert werden können, während die Rechenleistung flexibel über verschiedene Anbieter verteilt wird.
• Vereinfachte Infrastrukturverwaltung: Die Möglichkeit, Modelle, Datensätze und Checkpoints zentral auf dem Hugging Face Hub zu verwalten und gleichzeitig Rechenjobs über SkyPilot zu orchestrieren, vereinfacht die Infrastrukturverwaltung und reduziert die Notwendigkeit doppelter Datenspeicherung.
• Förderung von Wettbewerb und Innovation: Eine offenere und flexiblere Infrastrukturlandschaft kann den Wettbewerb unter den Cloud-Anbietern fördern und die Entwicklung innovativer KI-Lösungen beschleunigen.

Praktische Implikationen und Ausblick

Für Praktiker bedeutet diese Entwicklung eine Vereinfachung der Arbeitsabläufe. Anstatt Modelle und Datensätze mehrfach in verschiedenen Objektspeichern zu kopieren, können sie zentral auf dem Hugging Face Hub gehalten werden. Dies erleichtert auch die Einhaltung von Berechtigungsstrukturen, die bereits im Hugging Face-Ökosystem existieren.

Die Partnerschaft zwischen Hugging Face und SkyPilot ist ein Beispiel für die fortlaufenden Bemühungen, die Infrastruktur für Künstliche Intelligenz effizienter, zugänglicher und kostengünstiger zu gestalten. Sie stellt einen Schritt in Richtung einer cloud-agnostischeren KI-Entwicklung dar, bei der die technische Leistungsfähigkeit und die wirtschaftliche Effizienz im Vordergrund stehen, anstatt der durch traditionelle Cloud-Modelle auferlegten Beschränkungen. Dies könnte langfristig zu einer Demokratisierung des Zugangs zu fortschrittlichen KI-Technologien beitragen und Innovationen in der gesamten Branche vorantreiben.

Fazit

Die Kooperation zwischen Hugging Face und SkyPilot zur Implementierung von Zero-Egress-Speicher adressiert eine kritische Herausforderung in der KI-Infrastruktur. Indem sie die Trennung von Datenspeicherung und Rechenleistung ermöglicht und die Kosten für Datentransfers reduziert, schafft sie eine flexiblere, kostengünstigere und wettbewerbsfähigere Umgebung für die Entwicklung und Bereitstellung von KI-Anwendungen. Diese Entwicklung hat das Potenzial, die Art und Weise, wie Unternehmen und Entwickler KI-Workloads handhaben, nachhaltig zu beeinflussen und den Weg für zukünftige Innovationen zu ebnen.

Bibliography

- Run AI workloads on any cloud, store on Hugging Face: zero-egress storage with SkyPilot, Hugging Face Blog - [Storage] Add Hugging Face Buckets and repos as a storage backend, GitHub (skypilot-org/skypilot) - Hugging Face Adds SkyPilot Storage Backend, Let's Data Science - SkyPilot integrates with Hugging Face for zero-egress storage, AI on Radar - Introducing Storage Buckets on the Hugging Face Hub, Hugging Face Blog - skypilot-org/skypilot, GitHub - Arcee Becomes the First Major American AI Lab to Replace AWS S3 with Hugging Face Private Storage, in a Multi-Million Dollar Commercial Partnership, Hugging Face Blog - Arcee AI x Hugging Face: Strategic Partnership, Arcee AI Blog - Post by @ClementDelangue, X (formerly Twitter)