Meta entwickelt Nachfolger des Llama 3 KI-Modells zur Erweiterung der Künstlichen Intelligenz

Im Zuge des digitalen Fortschritts und der kontinuierlichen Weiterentwicklung künstlicher Intelligenz (KI) ist es kaum überraschend, dass Technologieunternehmen weltweit daran arbeiten, ihre KI-Modelle zu verbessern. Eines dieser Unternehmen ist Meta Platforms Inc., das kürzlich angekündigt hat, dass es an einem Nachfolger seines Llama 3 AI-Modells arbeitet, das die Fähigkeiten von KI auf ein neues Niveau heben soll.

Llama 3, das von Meta als das bisher leistungsfähigste open-source KI-Modell präsentiert wurde, ist eine Weiterentwicklung des vorherigen Modells Llama 2. Es wurde in zwei Versionen veröffentlicht – eine mit 8 Milliarden Parametern und eine weitere mit 70 Milliarden Parametern. Parameter sind hierbei ein Maß für die Kapazität eines KI-Modells, Wissen zu speichern und komplexe Aufgaben zu bewältigen. Yann LeCun, der Chef-KI-Wissenschaftler von Meta, deutete an, dass in naher Zukunft weitere Modelle mit über 400 Milliarden Parametern verfügbar sein werden. Diese Modelle befinden sich derzeit noch in der Trainingsphase.

Die Entwicklung von Llama 3 und seinen Nachfolgern ist eingebettet in eine größere Strategie Metas, KI-Modelle zu schaffen, die offen und verantwortungsbewusst entwickelt werden und breit verfügbar gemacht werden können. Diese Bemühungen stehen im Einklang mit dem langfristigen Ziel des Unternehmens, eine sogenannte künstliche allgemeine Intelligenz (AGI) zu entwickeln – eine KI, die in der Lage ist, jede geistige Aufgabe zu erfüllen, die auch ein Mensch bewältigen kann.

Um die Modelle zu trainieren und zu verfeinern, nutzt Meta zwei neue GPU-Cluster, die jeweils über mehr als 24.000 Nvidia H100 GPUs verfügen. Diese Cluster stellen eine Weiterentwicklung des im Jahr 2022 vorgestellten AI Research SuperCluster (RSC) dar, das 16.000 Nvidia A100 GPUs umfasste. Bis Ende 2024 plant Meta, seine Infrastruktur weiter auszubauen, um über 350.000 Nvidia H100 GPUs zu integrieren, was eine Rechenleistung äquivalent zu nahezu 600.000 H100 GPUs darstellen würde.

Die Trainingsdaten für Llama 3 wurden gegenüber dem Vorgängermodell Llama 2 vervielfacht – es wurde siebenmal so viel Datenmaterial verwendet. Meta betonte auch den Fokus auf "hochwertige Daten", um das Modell zu befähigen, Nuancen zu erkennen. Darüber hinaus wurde auch "synthetische" oder durch KI erstellte Daten verwendet, um Bereiche wie Codierung und logisches Denken zu verbessern.

Die Veröffentlichung von Llama 3 und seinen Nachfolgern ist nicht nur ein technischer Fortschritt, sondern auch ein strategischer Schachzug im Wettbewerb mit anderen großen KI-Entwicklern wie OpenAI und Google, die ihre Technologien eher über kostenpflichtige APIs anbieten. Metas Strategie, leistungsstarke open-source KI-Modelle bereitzustellen, könnte die Entwicklung von KI beschleunigen, da Verbesserungen schneller geteilt und der Code umfassender geprüft werden kann.

Es gibt jedoch auch Bedenken hinsichtlich der Sicherheit und Offenheit von KIs. Zum einen könnten leistungsfähigere open-source KI-Modelle das Risiko bergen, dass sie zur Entwicklung von Cyberwaffen oder sogar feindlichen KIs genutzt werden könnten. Zum anderen weisen einige KI-Forscher darauf hin, dass die open-source Lizenz von Meta für Llama Modelle Einschränkungen enthält, die die Forschung und Entwicklung behindern könnten.

Trotzdem scheint Llama 3 bereit zu sein, eine neue Welle der KI-Experimentation auszulösen. Clement Delange, CEO von HuggingFace, einem Repository für offene KI-Modelle, darunter Llama 3, erwähnte, dass Entwickler mehr als 30.000 Varianten von Llama 2 erstellt haben und dass er erwartet, dass auch Llama 3 zu zahlreichen neuen Modellen inspirieren wird.

Insgesamt zeigt die Entwicklung von Llama 3 und seinen Nachfolgern, dass Meta entschlossen ist, im Bereich der KI eine führende Rolle zu spielen. Durch die Bereitstellung mächtiger Werkzeuge für Entwickler, Forscher und Start-ups könnte das Unternehmen nicht nur die KI-Forschung vorantreiben, sondern auch neue innovative Produkte und Dienstleistungen ermöglichen, die das Potenzial haben, unseren Alltag tiefgreifend zu verändern.

Quellen:

1. Meta Builds Two 24K GPU Clusters for Training Next-Gen AI Models. Wired.
2. Meta's Open Source AI Models: A New Era of Development? TechRadar Pro.
3. Inside Meta's Massive GPU Infrastructure for AI. Silicon Republic.
4. The Next Step for Meta's AI Development: Two New GPU Clusters. SiliconANGLE.
5. How Meta is Building Infrastructure for Advanced AI. Meta Engineering Blog.
6. Meta Releases Llama 3, Stepping Up the AI Game. The Guardian.
7. Meta Trains Llama 3 on New Nvidia H100 Clusters. Analytics India Magazine.
8. The Anticipated Release of Llama 3: Meta's AI Challenger. Decrypt.
9. Meta's AI Tool Now Powered by the New Llama 3 Model, According to Meta. CNET.