Innovation in der AI: Docker und Hugging Face revolutionieren die Containertechnologie
In der Welt der Informatik und Technologie befinden wir uns in einer ständigen Evolution, und die Verwendung von Containertechnologien ist ein entscheidender Teil dieser Entwicklung. Docker, eine führende Plattform für die Entwicklung, den Versand und das Laufen von Anwendungen in Containern, hat jetzt eine Partnerschaft mit Hugging Face, einem Innovator im Bereich des maschinellen Lernens (ML) und der Künstlichen Intelligenz (KI), eingegangen. Diese Zusammenarbeit bietet neue Möglichkeiten für Entwickler und Forscher, die an der Spitze der AI-Forschung und -Anwendung arbeiten.
Ein aktuelles Beispiel für die Vorteile dieser Partnerschaft ist die Verwendung von Docker, um ML-Modelle mit privaten GPUs auszuführen, ohne auf eine Warteschlange warten zu müssen. Dies ist von besonderer Bedeutung für diejenigen, die mit ressourcenintensiven Modellen arbeiten, wie z.B. mit KI-Modellen der großen Sprachmodelle (LLMs). Die LLMs sind für ihre Fähigkeit bekannt, Textgenerierung, -vervollständigung und -klassifizierung auf einem Niveau auszuführen, das bisher unerreicht war. Sie erfordern jedoch oft erhebliche Rechenleistung, was die Zugänglichkeit für Einzelne und Organisationen mit begrenzten Ressourcen einschränken kann.
Die Verwendung von Containern über Docker ermöglicht es, dass ML-Modelle konsistent in verschiedenen Umgebungen ausgeführt werden. Dies löst das altbekannte Problem "Es funktioniert auf meinem Rechner, aber nicht auf deinem". Docker bietet eine reproduzierbare Umgebung, die sicherstellt, dass die Modelle überall gleich laufen. Dies ist insbesondere für Entwickler von Vorteil, die ihre Anwendungen in einer Vielzahl von Umgebungen testen und bereitstellen müssen.
Für die meisten auf Hugging Face verfügbaren Modelle gibt es zwei Optionen: GPTQ (üblicherweise 4-Bit oder 8-Bit, nur GPU) und GGML (üblicherweise 4-Bit, 5-Bit, 8-Bit, CPU/GPU-Hybrid). Diese Modelle nutzen Techniken der Quantisierung, die entweder während oder nach dem Training angewendet werden, um die Modellgröße und die Rechenanforderungen zu reduzieren. Die GGML-Modelle beispielsweise laufen gut auf CPUs und können schneller sein als GPUs, wenn keine hochleistungsfähige GPU zur Verfügung steht.
Die Transformation der Modelle für den Einsatz mit Docker erfolgt über zwei wichtige Bibliotheken: Transformers und ctransformers. Während Transformers APIs und Tools für den einfachen Download und das Training von vortrainierten Modellen bereitstellt, sind ctransformers Python-Bindungen für die Transformer-Modelle, die mit der GGML-Bibliothek entwickelt wurden.
Ein Beispiel für die praktische Umsetzung dieser Technologien ist die Bereitstellung von Llama-Modellen, die auf Anfrage über Hugging Face verfügbar sind. Um Zugang zu erhalten, muss man sich anmelden und den Zugriff anfordern. Darüber hinaus ist es erforderlich, ein Hugging Face-Token zu erstellen, das für die Authentifizierung bei künftigen Anfragen verwendet wird.
Sobald die Docker-Umgebung eingerichtet ist, kann man eine Vielzahl von Anwendungen ausführen. Zum Beispiel kann ein Container mit dem Hugging Face-Modell gestartet werden, der einen Port für die Maschine des Benutzers freigibt und eine Umgebungsvariable für das Hugging Face Hub-Token setzt. Die Interaktion mit dem Container erfolgt dann interaktiv über eine Befehlszeilenschnittstelle oder eine Web-Oberfläche.
Für Entwickler, die mit Docker und Hugging Face-Modellen arbeiten möchten, beginnt der Prozess in der Regel mit dem Klonen oder Herunterladen eines bestehenden Hugging Face-Space/Repository. Anschließend muss eine Datei requirements.txt erstellt werden, die alle benötigten Python-Pakete und -Module auflistet. Ein Dockerfile wird ebenfalls benötigt, um das Image zu bauen, das auf dem Python 3.9-Image basiert, und die benötigten Pakete zu installieren.
Die Ausführung von Docker auf Systemen mit Control Groups (cgroups) Version 2, die von neueren Linux-Distributionen verwendet wird, ist ebenfalls möglich. Docker unterstützt cgroup v2 seit Docker 20.10, und die Ausführung unter dieser Version erfordert bestimmte Bedingungen wie einen aktuellen containerd, runc und Kernel.
Abschließend lässt sich sagen, dass die Integration von Docker und Hugging Face-Modellen enorme Möglichkeiten für die effiziente und skalierbare Bereitstellung von KI-Anwendungen bietet. Mit privaten GPUs und ohne Warteschlangen können Entwickler und Forscher die Leistung ihrer Modelle maximieren und die Grenzen dessen, was mit KI möglich ist, weiter verschieben.
