Integration von Intel Gaudi in TGI eröffnet neue Perspektiven für LLM-Einsatz

LLM-Inferenz beschleunigt: TGI auf Intel Gaudi

Die Integration von Intel Gaudi in Text Generation Inference (TGI) eröffnet neue Möglichkeiten für den Einsatz von Large Language Models (LLMs). Diese Kombination aus spezialisierter KI-Hardware und hochperformanter Inferenz-Software bietet der Open-Source-KI-Community mehr Flexibilität und Effizienz.

Von der separaten Lösung zur vollständigen Integration

Bislang war die Nutzung von Gaudi mit TGI über ein separates Repository (tgi-gaudi) notwendig. Durch die Integration in die Hauptcodebasis von TGI profitieren Nutzer nun direkt von allen TGI-Features und der neuesten Hardwareunterstützung, ohne auf separate Installationen angewiesen zu sein. Dies vereinfacht den Einsatz und ermöglicht den Zugriff auf die volle Funktionalität von TGI.

Die Integration unterstützt die gesamte Palette der Gaudi-Hardware:

- Gaudi1: Verfügbar auf AWS EC2 DL1 Instanzen - Gaudi2: Verfügbar auf Intel Tiber AI Cloud und Denvr Dataworks - Gaudi3: Verfügbar auf Intel Tiber AI Cloud, IBM Cloud und von OEMs wie Dell, HP und Supermicro

Vorteile der Gaudi-Integration

Die Verwendung von Gaudi mit TGI bietet mehrere Vorteile:

Hardware-Diversität: Neben traditionellen GPUs stehen nun weitere Optionen für den Einsatz von LLMs in Produktionsumgebungen zur Verfügung.

Kosteneffizienz: Gaudi-Hardware bietet für bestimmte Workloads ein attraktives Preis-Leistungs-Verhältnis.

Produktionsreife: Die Robustheit von TGI, einschließlich dynamischer Batching und gestreamter Antworten, ist nun auch auf Gaudi verfügbar.

Modellunterstützung: Führende Modelle wie Llama 3.1, Mixtral, Mistral und weitere können auf Gaudi-Hardware ausgeführt werden.

Erweiterte Funktionen: Unterstützung für Multi-Card-Inferenz (Sharding), Vision-Language-Modelle und FP8-Präzision.

Optimierte Modelle und zukünftige Entwicklungen

Für die optimale Nutzung der Gaudi-Hardware wurden verschiedene Modelle für Single- und Multi-Card-Konfigurationen optimiert. Dazu gehören:

- Llama 3.1 (8B und 70B) - Llama 3.3 (70B) - Llama 3.2 Vision (11B) - Mistral (7B) - Mixtral (8x7B) - CodeLlama (13B) - Falcon (180B) - Qwen2 (72B) - Starcoder und Starcoder2 - Gemma (7B) - Llava-v1.6-Mistral-7B - Phi-2

Zusätzlich bietet TGI auf Gaudi erweiterte Funktionen wie FP8-Quantisierung dank Intel Neural Compressor (INC) für weitere Performance-Optimierungen.

Zukünftig sollen weitere Modelle wie DeepSeek-r1/v3 und QWen-VL unterstützt werden.

Fazit

Die Integration von Intel Gaudi in TGI stellt einen wichtigen Schritt für den effizienten Einsatz von LLMs dar. Durch die Kombination von spezialisierter Hardware und optimierter Software eröffnet sich ein breiteres Spektrum an Möglichkeiten für die Entwicklung und den Einsatz von KI-Anwendungen. Die Community ist eingeladen, TGI auf Gaudi zu testen und Feedback zu geben.

Bibliographie: https://huggingface.co/blog/intel-gaudi-backend-for-tgi https://www.intel.com/content/www/us/en/developer/articles/training/large-language-model-inference-on-gaudi.html https://huggingface.co/docs/text-generation-inference/installation_gaudi https://runaker.medium.com/running-llama-3-1-on-gaudi-2-with-tgi-gaudi-a-comprehensive-guide-e82e7e627caa https://www.linkedin.com/posts/futuresteve_llm-training-and-inference-with-intel-gaudi-activity-7149090548572651520-IhVA https://docs.habana.ai/en/latest/PyTorch/Inference_on_PyTorch/Model_Serving.html https://github.com/huggingface/blog/blob/main/habana-gaudi-2-bloom.md https://runaker.medium.com/the-ai-acceleration-showdown-vllm-vs-tgi-in-the-race-for-efficient-llm-deployment-13fe90c635be https://developer.habana.ai/tag/large-language-models/