Neuer Fokus auf private KI-Datenlösungen bei Hugging Face
Inhaltsverzeichnis
Optimieren Sie Prozesse, automatisieren Sie Workflows und fördern Sie Zusammenarbeit – alles an einem Ort.
Das Wichtigste in Kürze
- Hugging Face verzeichnet einen erheblichen Anstieg privater Modelle und Datensätze, die auf seiner Plattform gespeichert sind.
- Die Einführung von "Storage Buckets" wird als Schlüsselfaktor für diese Entwicklung genannt, da sie eine S3-ähnliche Speicherlösung für KI-Artefakte bieten.
- Diese Buckets ermöglichen Unternehmen eine effizientere und kollaborativere KI-Entwicklung innerhalb ihrer Organisationen, auch ohne öffentliche Freigabe.
- Im Gegensatz zu traditionellen Git-Repositories sind Storage Buckets für mutable, nicht-versionierte Daten wie Trainings-Checkpoints und Logs optimiert.
- Die Entwicklung deutet auf eine Verlagerung hin, bei der Unternehmen verstärkt interne KI-Lösungen entwickeln, anstatt sich ausschließlich auf externe API-Dienste zu verlassen.
Die Evolution der KI-Infrastruktur: Hugging Face und der Aufstieg privater Datenbestände
Die Landschaft der Künstlichen Intelligenz (KI) unterliegt einem stetigen Wandel, der nicht nur die Entwicklung von Modellen, sondern auch deren Speicherung und Verwaltung betrifft. Eine bemerkenswerte Entwicklung, die in jüngster Zeit beobachtet werden konnte, ist der signifikante Anstieg privater Modelle und Datensätze auf Plattformen wie Hugging Face. Während die Öffentlichkeit Hugging Face hauptsächlich für seine riesige Sammlung öffentlicher Modelle und Datensätze kennt, offenbart eine tiefergehende Analyse, dass bereits 50 % der dort gehosteten Inhalte privat sind. Diese Entwicklung wird maßgeblich durch die Einführung neuer Speicherlösungen wie den "Storage Buckets" vorangetrieben.
Der Wandel hin zu privaten Speicherlösungen
Traditionell diente Hugging Face als zentrale Anlaufstelle für den Austausch und die Veröffentlichung von KI-Modellen und Datensätzen, oft in einer öffentlichen oder zumindest geteilten Umgebung. Die jüngsten Zahlen deuten jedoch auf eine Verschiebung hin: Unternehmen nutzen die Plattform zunehmend für interne, nicht-öffentliche KI-Entwicklungsprozesse. Dies wird durch die Einführung der "Storage Buckets" von Hugging Face ermöglicht, die eine Alternative zu etablierten Cloud-Speicherlösungen wie Amazon S3 darstellen, speziell zugeschnitten auf die Anforderungen der KI-Entwicklung.
Storage Buckets: Eine S3-Alternative für KI
Die von Hugging Face eingeführten Storage Buckets sind als eine Art Objektspeicher konzipiert, der sich von den traditionellen Git-basierten Repositories unterscheidet. Während Git-Repositories bestens für die Versionierung von Quellcode und finalen Modellartefakten geeignet sind, stoßen sie bei der Verwaltung großer Mengen mutabler, nicht-versionierter Daten, die im Laufe von ML-Workflows anfallen, an ihre Grenzen. Hierzu gehören beispielsweise:
- Trainings-Checkpoints
- Zustände des Optimierers
- Verarbeitete Datensatz-Shards
- Logs und Traces
- Intermediäre Pipeline-Outputs
Diese Art von Daten ändert sich häufig, wird von vielen Jobs gleichzeitig erzeugt und benötigt selten eine detaillierte Versionskontrolle im Sinne von Git. Die Storage Buckets bieten hier eine optimierte Lösung, die auf dem Xet-Speicher-Backend basiert und Deduplizierung sowie eine effiziente Verwaltung dieser Artefakte ermöglicht. Sie sind über die Hub-Weboberfläche, die Python API oder die hf CLI zugänglich.
Vorteile für die Unternehmens-KI-Entwicklung
Die Einführung der Storage Buckets bringt mehrere Vorteile für Unternehmen mit sich, die ihre KI-Entwicklungsprozesse optimieren möchten:
- Effizienzsteigerung: Unternehmen können KI-Modelle und Datensätze effizienter innerhalb ihrer Organisationen aufbauen und verwalten, da der Speicher speziell für die Anforderungen von ML-Workflows optimiert ist.
- Kollaboration: Auch bei privaten Projekten wird die Zusammenarbeit innerhalb von Teams erleichtert, da eine zentrale, dedizierte Speicherlösung zur Verfügung steht.
- Kostenoptimierung: Durch Funktionen wie die Xet-Deduplizierung, die bei sich wiederholenden Daten große Speichereinsparungen ermöglicht, können die Kosten für die Speicherung von ML-Artefakten reduziert werden.
- Abkehr von externen APIs: Die Möglichkeit, KI-Infrastruktur intern aufzubauen und zu verwalten, kann Unternehmen unabhängiger von externen API-Diensten machen und ihnen mehr Kontrolle über ihre Daten und Modelle geben.
Ausblick und Implikationen für die Branche
Die Beobachtung, dass 50 % der Hugging Face-Inhalte privat sind und dieser Anteil durch die neuen Speicherlösungen weiter wächst, ist ein Indikator für eine breitere Entwicklung in der KI-Branche. Es zeigt sich ein Trend, bei dem Unternehmen verstärkt eigene, interne KI-Fähigkeiten aufbauen und dabei auf spezialisierte Infrastrukturlösungen setzen, die den spezifischen Anforderungen von maschinellem Lernen gerecht werden. Dies könnte langfristig zu einer stärkeren Diversifizierung der KI-Landschaft führen, in der neben großen öffentlichen Repositories auch eine Vielzahl privater, unternehmensinterner KI-Ökosysteme existieren. Die Rolle von Plattformen wie Hugging Face verschiebt sich dabei von einem reinen Hub für öffentliche Modelle hin zu einem umfassenden Partner für die gesamte KI-Entwicklungspipeline, sowohl öffentlich als auch privat.
Die kontinuierliche Weiterentwicklung von Speicher- und Verwaltungslösungen für KI-Artefakte wird entscheidend sein, um den steigenden Anforderungen an Skalierbarkeit, Effizienz und Sicherheit in der Unternehmens-KI gerecht zu werden. Die Storage Buckets von Hugging Face stellen hierbei einen wichtigen Schritt dar, um diese Entwicklung zu unterstützen und Unternehmen dabei zu helfen, das volle Potenzial der Künstlichen Intelligenz auszuschöpfen, ohne Kompromisse bei Datenschutz und Kontrolle eingehen zu müssen.
Bibliographie
Introducing Storage Buckets on the Hugging Face Hub. (2026, 10. März). Hugging Face Blog. Verfügbar unter: https://huggingface.co/blog/storage-buckets Delangue, C. (2026, 29. Mai). Clem Delangue's Post. LinkedIn. Verfügbar unter: https://www.linkedin.com/posts/clementdelangue_most-people-know-hugging-face-from-its-public-activity-7466144165760868352-5j2U Storage Buckets. (n.d.). Hugging Face Docs. Verfügbar unter: https://huggingface.co/docs/hub/storage-buckets Buckets. (n.d.). Hugging Face Hub Guides. Verfügbar unter: https://huggingface.co/docs/huggingface_hub/main/en/guides/buckets van Strien, D. (2026, 26. März). Using Storage Buckets as a Working Layer for Data Pipelines. Hugging Face Blog. Verfügbar unter: https://huggingface.co/blog/davanstrien/buckets-as-working-layer Storage - Hugging Face. (n.d.). Hugging Face. Verfügbar unter: https://huggingface.co/storage Zhang, S. (2026, 10. März). Hugging Face Launches Storage Buckets for ML Artifacts. Awesome Agents. Verfügbar unter: https://awesomeagents.ai/news/huggingface-storage-buckets-mutable-object-storage/ storage-buckets.md at main · huggingface/blog. (n.d.). GitHub. Verfügbar unter: https://github.com/huggingface/blog/blob/main/storage-buckets.md Buckets. (n.d.). Hugging Face Hub Guides (v1.10.1). Verfügbar unter: https://huggingface.co/docs/huggingface_hub/v1.10.1/guides/buckets Giridharan, A. (2026, 13. März). Hugging Face Just Built the S3 That Git Always Pretended to Be. Medium. Verfügbar unter: https://medium.com/@AdithyaGiridharan/hugging-face-just-built-the-s3-that-git-always-pretended-to-be-f4e64ad0570d ClementDelangue. (2026, 29. Mai). Post by @ClementDelangue. X. Verfügbar unter: https://x.com/ClementDelangue/status/2060378354931388837Artikel jetzt als Podcast anhören
.svg){kind=logo}
.png){kind=logo}
