AMD und Hugging Face: Zusammenarbeit zur Nutzung von Open-Source-Modellen in der Cloud und auf lokalen Geräten

‍

Einführung

In der Welt der künstlichen Intelligenz (KI) sind Kooperationen zwischen Technologieunternehmen entscheidend, um die Grenzen der Innovation zu erweitern. Eine solche bemerkenswerte Zusammenarbeit findet zwischen AMD und Hugging Face statt. Die beiden Unternehmen arbeiten daran, die Nutzung von Open-Source-Modellen sowohl in der Cloud als auch auf lokalen Geräten zu optimieren. Diese Partnerschaft zielt darauf ab, die Leistung und Zugänglichkeit von KI-Modellen zu verbessern, indem die neuesten AMD-Hardwarelösungen genutzt werden.

Die Rolle von AMD Instinct GPUs

Ein zentraler Bestandteil dieser Zusammenarbeit ist die Nutzung der AMD Instinct MI300 GPUs. Diese hochmodernen Grafikprozessoren bieten erhebliche Leistungssteigerungen für KI-Anwendungen. Die Integration der MI300 GPUs in die Hugging Face Plattform ermöglicht es Entwicklern, KI-Modelle effizient zu betreiben, sei es in der Cloud oder auf lokalen Geräten.

Unterstützung für Open-Source und Produktionsumgebungen

Die Aufrechterhaltung der Unterstützung für AMD Instinct GPUs in den populären Bibliotheken von Hugging Face wie Transformern und Text-Generation-Inference ist ein wesentlicher Aspekt dieser Partnerschaft. Dies stellt sicher, dass die MI300 GPUs langfristig getestet und überwacht werden, um eine robuste und zuverlässige Leistung zu gewährleisten. Durch die Zusammenarbeit mit den Infrastrukturteams von AMD und Microsoft Azure konnte Hugging Face die neuesten Azure ND MI300x V5 VMs schnell und effizient einsetzen.

Verbesserte Leistung für KI-Workloads

Die Optimierung der Leistung von KI-Workloads ist ein weiterer Schwerpunkt dieser Zusammenarbeit. Die AMD Instinct MI300 GPUs wurden darauf ausgelegt, Inferenz-Workloads effizient zu betreiben. Durch den Einsatz der text-generation-inference Lösung von Hugging Face können Entwickler von den hochoptimierten Routinen profitieren, die in den Modellen wie der Meta Llama Familie verwendet werden.

Verbesserte TGI-Leistung

Die Text Generation Inference (TGI) Lösung von Hugging Face bietet eine End-to-End Lösung zur Bereitstellung großer Sprachmodelle für Inferenz in großem Maßstab. Durch die Integration und Optimierung der AMD Instinct GPUs konnte eine beeindruckende Leistungssteigerung erzielt werden. Vergleiche zwischen der neuesten MI300X und der vorherigen Generation MI250 zeigen eine 2-3x schnellere Latenzzeit bis zum ersten Token und eine 2x schnellere Latenz in der folgenden autoregressiven Dekodierungsphase.

Modelle Feintuning

Die Hugging Face Bibliotheken können auch zum Feintuning von Modellen verwendet werden. Durch die Nutzung der Transformers und PEFT Bibliotheken konnte das Feintuning des Llama 3 70B Modells auf einem Azure VM, das von MI300X betrieben wird, etwa 2x schneller durchgeführt werden als auf einem HPC-Server mit der vorherigen Generation MI250.

Zukunftsaussichten

Die Partnerschaft zwischen AMD und Hugging Face ist erst der Anfang einer spannenden Reise. In den kommenden Monaten wird erwartet, dass weitere Unterstützung und Validierung für AMD Radeon GPUs und AMD Ryzen AI Technologie erfolgen wird. Diese Entwicklungen werden die Möglichkeiten für Entwickler erweitern, KI-Modelle effizient und sicher sowohl in der Cloud als auch auf lokalen Geräten zu betreiben.

Fazit

Die Zusammenarbeit zwischen AMD und Hugging Face zeigt, wie durch die Integration moderner Hardwarelösungen die Leistung und Zugänglichkeit von KI-Modellen erheblich verbessert werden kann. Die Nutzung der AMD Instinct MI300 GPUs in Kombination mit den fortschrittlichen Bibliotheken und Lösungen von Hugging Face bietet Entwicklern die Werkzeuge, die sie benötigen, um innovative KI-Anwendungen zu entwickeln und zu betreiben.

Bibliographie

https://huggingface.co/blog/huggingface-amd-mi300
https://www.amd.com/en/newsroom/press-releases/2024-5-21-amd-instinct-mi300x-accelerators-power-microsoft-a.html
https://www.linkedin.com/posts/nick-ni-5a204b20_hugging-cast-run-llms-on-amd-from-cloud-activity-7203563617017892864-Cy_P
https://huggingface.co/blog/huggingface-and-optimum-amd
https://www.amd.com/en/products/processors/consumer/ryzen-ai.html
https://huggingface.co/amd
https://www.linkedin.com/posts/violette-lepercq-141a9773_hugging-cast-run-llms-on-amd-from-cloud-activity-7201268302420000770-MmfH
https://azure.microsoft.com/en-us/solutions/hugging-face-on-azure