Optimierte Inferenz für große Sprachmodelle: NVIDIA TensorRT-LLM und seine Auswirkungen

Einführung

Die Welt der künstlichen Intelligenz (KI) entwickelt sich ständig weiter, und große Sprachmodelle (Large Language Models, LLMs) stehen dabei im Mittelpunkt. Diese Modelle bieten erstaunliche neue Fähigkeiten, die die Grenzen des Möglichen erweitern. Allerdings stellt ihre Größe und die spezifischen Ausführungseigenschaften eine Herausforderung dar, um sie kosteneffizient zu nutzen. NVIDIA hat in Zusammenarbeit mit führenden Unternehmen wie Meta, Anyscale, Cohere und vielen anderen daran gearbeitet, die Inferenz von LLMs zu beschleunigen und zu optimieren. Dies führte zur Einführung von TensorRT-LLM, einer Open-Source-Bibliothek, die nun kostenlos zur Verfügung steht.

TensorRT-LLM: Überblick

TensorRT-LLM ist eine benutzerfreundliche Python-API zur Definition von LLMs und zum Aufbau von TensorRT-Engines, die modernste Optimierungen enthalten, um Inferenz effizient auf NVIDIA-GPUs durchzuführen. Die Software umfasst eine Sammlung optimierter Kernel, Vor- und Nachbearbeitungsschritte sowie Kommunikationsprimitiven für mehrere GPUs und Knoten, die bahnbrechende Leistung auf NVIDIA-GPUs ermöglichen.

Leistungsverbesserungen durch TensorRT-LLM

Artikelzusammenfassung mit TensorRT-LLM

Ein Beispiel für die Anwendung von LLMs ist die Zusammenfassung von Artikeln. Die folgenden Benchmarks zeigen die Leistungsverbesserungen durch TensorRT-LLM auf der neuesten NVIDIA Hopper-Architektur. Der NVIDIA H100-GPU ist allein schon 4-mal schneller als die A100-GPU. Mit den Vorteilen von TensorRT-LLM, einschließlich des in-flight batching, ergibt sich eine 8-fache Steigerung der Gesamtleistung.

Vergleich von Llama 2

Auf Llama 2, einem beliebten Sprachmodell, das kürzlich von Meta veröffentlicht wurde, kann TensorRT-LLM die Inferenzleistung um das 4,6-fache im Vergleich zu A100-GPUs beschleunigen.

Kosteneffizienz und Energieeinsparungen

Die Minimierung der Gesamtkosten (TCO) und des Energieverbrauchs im Rechenzentrum sind entscheidende Ziele für Kunden, die KI und insbesondere LLMs einführen. Die signifikanten Leistungsgeschwindigkeiten reduzieren den Bedarf an Ausrüstung und Wartung, was zu erheblichen Kapital- und Betriebskosteneinsparungen führt. Ein Beispiel zeigt, dass eine 8-fache Leistungssteigerung bei kleinen Sprachmodellen wie GPT-J 6B zu einer 5,3-fachen Reduktion der TCO und einer 5,6-fachen Reduktion des Energieverbrauchs im Vergleich zur A100-GPU-Basis führt.

Optimierungstechniken

In-flight Batching

Um die dynamischen Lasten zu verwalten, enthält TensorRT-LLM eine optimierte Planungstechnik namens in-flight batching. Dies nutzt die Tatsache aus, dass der gesamte Textgenerierungsprozess für ein LLM in mehrere Iterationen der Ausführung auf dem Modell unterteilt werden kann. Mit dem in-flight batching beginnt der TensorRT-LLM-Laufzeit sofort mit der Ausführung neuer Anfragen, während andere Anfragen noch in Bearbeitung sind.

H100 Transformer Engine mit FP8

Die NVIDIA H100-GPUs mit TensorRT-LLM ermöglichen die einfache Konvertierung von Modellgewichten in ein neues FP8-Format und die automatische Kompilierung von Modellen, um optimierte FP8-Kernel zu nutzen. Dies wird durch die NVIDIA Hopper Transformer Engine-Technologie ermöglicht, ohne dass Modellcode geändert werden muss.

Zusammenfassung

LLMs entwickeln sich rasant weiter. Verschiedene Modellarchitekturen werden täglich entwickelt und tragen zu einem wachsenden Ökosystem bei. Größere Modelle entfalten neue Fähigkeiten und Anwendungsfälle. TensorRT-LLM bietet eine umfassende Lösung zur Optimierung und Beschleunigung der Inferenzleistung von LLMs auf NVIDIA-GPUs. Die Vorteile umfassen erhebliche Leistungssteigerungen, Kosteneinsparungen und Energieeffizienz, die es Unternehmen ermöglichen, ihre KI-Modelle effizienter und kostengünstiger zu betreiben. Bibliografie: - https://github.com/NVIDIA/TensorRT-LLM - https://developer.nvidia.com/blog/nvidia-tensorrt-llm-supercharges-large-language-model-inference-on-nvidia-h100-gpus/ - https://developer.nvidia.com/tensorrt - https://developer.nvidia.com/blog/optimizing-inference-on-llms-with-tensorrt-llm-now-publicly-available/ - https://www.linkedin.com/posts/suchismitasahu11_nvidia-tensorrt-llm-supercharges-large-language-activity-7106009942402236416-yhcb - https://developer.nvidia.com/blog/accelerate-generative-ai-inference-performance-with-nvidia-tensorrt-model-optimizer-now-publicly-available/ - https://www.linkedin.com/posts/dataenthusiastme_nvidia-tensorrt-llm-supercharges-large-language-activity-7105988553095999488-ivLF - https://developer.nvidia.com/blog/achieving-top-inference-performance-with-the-nvidia-h100-tensor-core-gpu-and-nvidia-tensorrt-llm/