MLPerf Inference 4.1: Neuer Schwung in der KI-Benchmark-Szene

Einführung in die MLPerf Inference 4.1 Benchmarks

Das Benchmark-Konsortium MLCommons hat die neuesten Ergebnisse der MLPerf Inference 4.1 Benchmarks veröffentlicht. Diese Runde markiert das Debüt bedeutender neuer KI-Beschleuniger von Nvidia, AMD und Intel. Die Inference-Benchmarks von MLPerf, die sich auf die Leistung einzelner Maschinen mit wenigen Beschleunigern konzentrieren, bieten eine umfassende Momentaufnahme der sich schnell entwickelnden KI-Hardware- und Softwarelandschaft.

Die neuen Akteure: Nvidia B200, AMD MI300X und Intel Granite Rapids

In der neuesten Runde der MLPerf Inference-Benchmarks treten erstmals AMDs Instinct-MI300X-Beschleuniger, Nvidias Blackwell B200 sowie Intels Xeon 6980P Granite Rapids an. Diese neuen Teilnehmer zeigen beeindruckende Leistungsverbesserungen und setzen neue Maßstäbe in der KI-Inferenzleistung.

AMD MI300X: Ein starkes Debüt

Die Premiere der AMD MI300X-Beschleuniger wurde lange erwartet. Nun sind gleich vier Ergebnisse eingereicht worden, darunter drei von AMD selbst und eines von Dell. Diese Beschleuniger traten in den Llama2-70b-Kategorien an und zeigten beeindruckende Leistungen. Ein AMD-System nutzte bereits die kommenden Epyc-Prozessoren Turin als Unterbau für die acht MI300X-Beschleuniger und war prompt die schnellste der vier Einreichungen.

Nvidia Blackwell B200: Rasend schnell getrickst

Der auf der GTC 2024 vorgestellte Blackwell-Beschleuniger B200 von Nvidia legte ebenfalls einen beeindruckenden ersten öffentlichen Auftritt hin. Gegenüber der ebenfalls mit 1000 Watt betriebenen H200-SXM war der Blackwell-Beschleuniger 2,56-mal so schnell in der Server-Wertung und 2,51-mal so schnell im Offline-Modus. Dabei nutzt Nvidia das Quasar-Quantization-System, das durch die Blackwell-Transformer-Engine einzelne Rechenschritte auf FP4-Genauigkeit herunterbrechen kann.

Intel Xeon 6900 AP Granite Rapids

Intel präsentierte in dieser Runde den Xeon 6980P aus der Granite-Rapids-Serie. Diese Prozessoren liefen auf einem Server der Avenue-City-Plattform und wurden nicht von Beschleunigern unterstützt. Im Vergleich zu den Dual-Xeon-Platinum-8592+ der aktuellen Generation waren sie in der Server-Wertung von retinanet etwas mehr als doppelt so schnell und in der Offline-Wertung von retinanet und GPTj-99 beinahe zweimal so schnell.

Hintergrund zu MLPerf Training und Inferencing

MLPerf-Veröffentlichungen laufen wie Wettbewerbe in zwei Runden pro Jahr: Training und Inferencing. Dabei können konkurrierende Hersteller aus unterschiedlichen Benchmarks für das Training oder Inferencing von KI-Modellen wählen. Alle Ergebnisse unterliegen einem Peer-Review-Prozess und stehen den Mitgliedern von MLCommons vorab zur Validierung zur Verfügung. Bei den Ergebnissen wird zwischen "Offline" und "Server" unterteilt. Offline-Ergebnisse sind in der Regel etwas höher, Server-Ergebnisse müssen dafür aber Latenzvorgaben erfüllen.

Ein Blick auf die Ergebnisse

Die Ergebnisse der MLPerf Inference 4.1 Benchmarks zeigen, dass Nvidia, AMD und Intel große Fortschritte in der KI-Inferenzleistung gemacht haben. Dies bietet Unternehmen wertvolle Einblicke, wie sie ihre KI-Infrastruktur optimieren und effizienter gestalten können.

AMD MI300X im Vergleich

Die MI300X-Beschleuniger von AMD zeigten im Vergleich zu Nvidias Grace Hopper GH200 gute Leistungen, auch wenn noch Luft nach oben besteht. In den Server-Wertungen erreichten sie knapp zwei Drittel und in der Offline-Wertung drei Viertel der Nvidia-Leistung.

Nvidia Blackwell B200: Leistungssteigerung durch Quasar-Quantization

Der Nvidia Blackwell B200 nutzte das Quasar-Quantization-System, um erhebliche Leistungssteigerungen zu erzielen. Gegenüber dem GH200-Superchip stiegen die Leistungsfaktoren auf 2,77 respektive 2,76.

Intel Granite Rapids: Solides Wachstum

Die Xeon 6980P Prozessoren von Intel zeigten ein solides Wachstum gegenüber der Vorgängergeneration. In den angetretenen Tests schlugen sie die Vorgängergeneration um mindestens 70 Prozent.

Fazit

Die MLPerf Inference 4.1 Benchmarks bieten einen tiefen Einblick in die Leistungsfähigkeit der neuesten KI-Beschleuniger von Nvidia, AMD und Intel. Diese Ergebnisse sind ein wertvolles Werkzeug für Unternehmen, die ihre KI-Infrastruktur optimieren möchten. Die kontinuierliche Weiterentwicklung und Verbesserung dieser Technologien verspricht spannende zukünftige Entwicklungen in der Welt der künstlichen Intelligenz. Bibliography - https://www.heise.de/news/MLPerf-Inference-4-1-Nvidia-B200-AMD-MI300X-und-Granite-Rapids-geben-ihr-Debuet-9850248.html - https://www.finanznachrichten.de/nachrichten-2024-08/63113755-tagesausblick-29-08-2024-das-warten-hat-bald-ein-ende-nvidia-zahlen-heute-nacht-203.htm - https://venturebeat.com/ai/mlcommons-mlperf-inference-4-1-benchmarks-moe-model-as-nvidia-blackwell-makes-its-testing-debut/ - https://www.finanznachrichten.de/nachrichten-2024-08/63108924-miese-krypto-marktstimmung-bitcoin-und-ether-stuerzen-ab-nvidia-zahlen-als-rettungsanker-049.htm - https://www.hardwareluxx.de/index.php/news/software/benchmarks/63267-mlperf-inference-4-0-das-debuet-der-h200-von-nvidia-gelingt.html - https://www.computerbase.de/2024-03/intel-und-nvidia-in-mlperf-in-amds-abwesenheit-debuetiert-h200-und-gaudi2-stichelt/