Die nächste Generation multimodaler KI-Modelle: Meta veröffentlicht Llama 3.2

In der schnelllebigen Welt der künstlichen Intelligenz (KI) jagt eine bahnbrechende Innovation die nächste. Meta, das Unternehmen hinter Facebook, Instagram und WhatsApp, hat nun die neueste Version seiner großen Sprachmodelle (LLMs) vorgestellt: Llama 3.2. Diese neue Generation von Modellen zeichnet sich insbesondere durch ihre multimodalen Fähigkeiten und die Verfügbarkeit von sowohl leistungsstarken als auch leichtgewichtigen Versionen aus.

Llama wird multimodal: Bildverständnis und -verarbeitung mit Llama 3.2-Vision

Mit Llama 3.2-Vision präsentiert Meta erstmals LLMs, die sowohl Text als auch Bilder verarbeiten und verstehen können. Diese Modelle ermöglichen es, komplexe Aufgaben zu bewältigen, die bisher für KI-Systeme eine Herausforderung darstellten. Zu den neuen Möglichkeiten, die Llama 3.2-Vision bietet, gehören: - **Visuelle Fragebeantwortung (VQA):** Stellen Sie sich eine Maschine vor, die ein Bild betrachtet und Ihre Fragen dazu versteht. - **Dokumentenbasierte visuelle Fragebeantwortung (DocVQA):** Stellen Sie sich einen Computer vor, der sowohl den Text als auch das Layout eines Dokuments, wie z. B. einer Karte oder eines Vertrags, versteht und dann Fragen dazu direkt aus dem Bild beantwortet. - **Bildbeschreibung:** Die Bildbeschreibung schließt die Lücke zwischen Bild und Sprache, indem sie Details extrahiert, die Szene versteht und dann ein oder zwei Sätze formuliert, die die Geschichte erzählen. - **Bild-Text-Retrieval:** Das Bild-Text-Retrieval ist wie ein Vermittler für Bilder und deren Beschreibungen. Ähnlich wie bei einer Suchmaschine, aber mit dem Unterschied, dass sie sowohl Bilder als auch Wörter versteht. - **Visuelle Erdung:** Bei der visuellen Erdung geht es darum, die Punkte zwischen dem, was wir sehen, und dem, was wir sagen, zu verbinden. Es geht darum zu verstehen, wie sich Sprache auf bestimmte Teile eines Bildes bezieht, so dass KI-Modelle Objekte oder Regionen anhand von Beschreibungen in natürlicher Sprache lokalisieren können.

Llama wird klein: Leichtgewichtige Modelle für mobile und Edge-Geräte

Neben den leistungsstarken Modellen der 90B- und 11B-Klasse führt Llama 3.2 auch neue, leichtgewichtige Modelle mit 1B und 3B Parametern ein. Diese Modelle sind speziell für den Einsatz auf mobilen und Edge-Geräten konzipiert und ermöglichen private, personalisierte KI-Erlebnisse mit minimaler Latenz und geringem Ressourcenbedarf. Mögliche Anwendungsfälle für diese Modelle sind: - **Multilinguale Zusammenfassung auf dem Gerät** - **Informationsabruf** - **Lokale KI-Agenten**

Verfügbarkeit und Ökosystem

Meta hat Llama 3.2 unter der Llama 3.2 Community License veröffentlicht, einer benutzerdefinierten, kommerziellen Lizenzvereinbarung. Die Modelle sind über verschiedene Kanäle verfügbar, darunter: - **Vertex AI Model Garden:** Google Cloud bietet Llama 3.2 in seinem Vertex AI Model Garden an, sowohl als Model-as-a-Service (MaaS) als auch für die Selbstbedienung. - **Hugging Face:** Die Modelle sind auch auf der Plattform Hugging Face verfügbar, einem beliebten Hub für KI-Modelle und -Datensätze.

Zusammenfassung

Mit Llama 3.2 setzt Meta einen weiteren Meilenstein in der Entwicklung großer Sprachmodelle. Die neuen multimodalen Fähigkeiten und die Verfügbarkeit von leichtgewichtigen Versionen eröffnen eine Vielzahl neuer Möglichkeiten für Entwickler und Unternehmen. Es bleibt abzuwarten, welche innovativen Anwendungen in Zukunft mit Llama 3.2 entstehen werden. ## Quellen - Meta AI. (2024, 25. September). Introducing Llama 3.2: New Multimodal & Lightweight Models are Here [Blogbeitrag]. Abgerufen von https://ai.meta.com/blog/llama-3-2-co... - Together AI. (2024, 25. September). Meta's Llama 3.2 is now available on Google Cloud [Blogbeitrag]. Abgerufen von https://cloud.google.com/blog/products/ai-machine-learning/metas-llama-3-2-is-now-available-on-google-cloud - Renotte, N. (2024, 26. September). 👀 new Meta Llama 3.2 vision models in watsonx.ai? [LinkedIn-Beitrag]. Abgerufen von https://www.linkedin.com/posts/nicholasrenotte_new-meta-llama-32-vision-models-in-watsonxai-activity-7119386108909359104-v64P/ - A. Khaliq [@akhaliq]. (2024, 26. September). Here is the link for 3.2 11B using @FireworksAI_HQ API: [https://huggingface.co/spaces/akhaliq/llama-v3p2-11b-vision-instruct](https://huggingface.co/spaces/akhaliq/llama-v3p2-11b-vision-instruct) [X-Beitrag]. Abgerufen von https://twitter.com/_akhaliq/status/1707332700346818908