Meta präsentiert Llama 3: Ein neuer Meilenstein in der Entwicklung von Sprachmodellen für KI

In der Welt der künstlichen Intelligenz (KI) schreitet die Entwicklung von Sprachmodellen rasant voran. Insbesondere große Sprachmodelle (Large Language Models, LLMs), die für eine Vielzahl von Anwendungen eingesetzt werden können, haben in den letzten Jahren für Aufsehen gesorgt. Eines der neuesten Mitglieder dieser Modellfamilie ist das "Llama 3" von Meta, das kürzlich veröffentlicht wurde und bereits in der KI-Community für Interesse sorgt.

Llama 3 ist die neueste Iteration der öffentlich zugänglichen Llama-Modellfamilie und steht auf Hugging Face zur Verfügung. Meta setzt damit sein Engagement für offene KI fort, und es ist beeindruckend zu sehen, wie das Unternehmen die Veröffentlichung durch eine umfassende Integration in das Hugging Face-Ökosystem unterstützt.

Das Llama 3 ist in zwei Größen verfügbar: eine 8-Milliarden-Parameter-Version für eine effiziente Implementierung und Entwicklung auf Consumer-GPUs und eine 70-Milliarden-Parameter-Version für großangelegte KI-Anwendungen. Beide Versionen sind in Basis- und instruktionsgesteuerten Varianten verfügbar. Zusätzlich zu diesen vier Modellen wurde eine neue Version von Llama Guard veröffentlicht, die auf Llama 3 8B feinabgestimmt wurde und als Llama Guard 2 bekannt ist.

Meta hat mit Hugging Face zusammengearbeitet, um die bestmögliche Integration in das Hugging Face-Ökosystem zu gewährleisten. Alle fünf öffentlich zugänglichen Modelle (zwei Basis-, zwei feinabgestimmte und Llama Guard) sind im Hub verfügbar. Zu den neu veröffentlichten Funktionen und Integrationen gehören Modelle im Hub mit ihren Modellkarten und Lizenzen, die Integration in 🤗 Transformers, die Hugging Chat-Integration für Meta Llama 3 70b und Inferenzintegrationen in Inferenz-Endpoints, Google Cloud und Amazon SageMaker.

Die Llama 3-Modelle wurden auf zwei Clustern mit 24.000 GPUs anhand einer neuen Mischung aus öffentlich verfügbaren Online-Daten auf über 15 Billionen Token trainiert. Llama 3 Instruct wurde für Dialoganwendungen optimiert und anhand von über 10 Millionen menschlich annotierten Datenbeispielen mit einer Kombination aus supervisiertem Feintuning (SFT), Ablehnungssampling, proximaler Politikoptimierung (PPO) und direkter Politikoptimierung (DPO) trainiert.

Die Lizenzbedingungen für Llama 3 sind großzügig und erlauben die Weitergabe, das Feintuning und das Erstellen von abgeleiteten Werken. Eine explizite Namensnennung ist neu in der Llama 3-Lizenz und war in Llama 2 nicht vorhanden. Abgeleitete Modelle müssen beispielsweise "Llama 3" am Anfang ihres Namens enthalten, und in abgeleiteten Werken oder Diensten muss "Built with Meta Llama 3" erwähnt werden.

Um die Llama 3-Modelle zu verwenden, sollte man die neueste Version von 🤗 Transformers installieren. Ein Codebeispiel zeigt, wie das Llama-3-8b-Modell mit Transformers verwendet werden kann. Es erfordert etwa 16 GB RAM, was GPUs wie die 3090 oder 4090 einschließt.

Die Llama 3-Modelle können auch automatisch quantisiert werden und in 8-Bit- oder sogar 4-Bit-Modus geladen werden. Das Laden im 4-Bit-Modus benötigt etwa 7 GB Speicher, was es mit vielen Verbraucherkarten und allen GPUs in Google Colab kompatibel macht.

Für diejenigen, die an der Verwendung oder Integration von Llama 3-Modellen interessiert sind, bietet Hugging Face verschiedene Ansätze zur Ausführung von Inferenzen. Vor der Verwendung dieser Modelle sollte man sicherstellen, dass man Zugang zu einem der Modelle in den offiziellen Meta Llama 3-Repositories angefordert hat.

Zusammenfassend lässt sich sagen, dass Llama 3 ein weiterer bedeutender Fortschritt in der Entwicklung von Sprachmodellen für die KI ist. Es bietet eine Vielzahl von Möglichkeiten für Entwickler und Forscher, die auf der Suche nach leistungsstarken und flexiblen Werkzeugen für eine Vielzahl von Anwendungen sind. Mit der kontinuierlichen Unterstützung durch Meta und die Integration in das Hugging Face-Ökosystem ist es wahrscheinlich, dass Llama 3 ein wesentlicher Bestandteil zukünftiger KI-Anwendungen sein wird.

Quellen:
- Hugging Face Blog: "Welcome Llama 3 - Meta’s new open LLM"
- Hugging Face Blog: "Llama 2 is here - get it on Hugging Face"
- Hugging Face Spaces: Chat with Meta Llama 3 8b
- Meta Llama 3 Community License Agreement
- Meta Llama 3 Acceptable Use Policy
- Twitter: @Gradio und @_akhaliq (für Ankündigungen und Neuerungen zu Llama 3)