Gemma bringt frischen Wind in die Open-Source KI-Landschaft

In der Welt der Künstlichen Intelligenz (KI) ist Offenheit ein Schlüsselkonzept, das Innovationen und Zusammenarbeit vorantreibt. Dies wurde jüngst durch die Einführung von Gemma, einer neuen Familie von Open-Source-Sprachmodellen von Google, unterstrichen. Die Modelle basieren auf der zuvor entwickelten Gemini-Technologie und stehen nun der breiten Öffentlichkeit zur Verfügung. Die Gemma-Modelle bieten fortschrittliche KI-Fähigkeiten und sind in zwei Varianten erhältlich: eine mit 2 Milliarden und eine mit 7 Milliarden Parametern.

Die kleineren 2B-Modelle sind so konzipiert, dass sie auch auf Mobilgeräten laufen können, während die größeren 7B-Modelle eine beeindruckende Leistung aufweisen und durchschnittlich 63,75 Punkte auf der Leaderboard erreichen. Sie sind für den kommerziellen Einsatz freigegeben und bieten eine Standardkontextlänge von 8192 Token. Die 7B-Version erzielte eine Punktzahl von 64,56 im MMLU, einem Benchmark für maschinelles Lernen.

Eine Besonderheit der Gemma-Modelle ist die Verwendung von Reinforcement Learning from Human Feedback (RLHF) für das Instruktionsmodell, was darauf hinweist, dass bei der Entwicklung der Modelle menschliches Feedback eine wesentliche Rolle spielte. Für die Schulung des 7B-Modells wurden 16 TPUv5e-Pods über einen Zeitraum von 23 Tagen genutzt. Die Modelle wurden mit Daten aus verschiedenen Quellen wie Webdokumenten, Code und mathematischen Texten trainiert, wobei Inhaltsfilter verwendet wurden, um bestimmte Arten von Inhalten zu entfernen.

Die Community hat begonnen, die Möglichkeiten der Gemma-Modelle zu erkunden und weiterzuentwickeln. Ein Beispiel dafür ist Lucas Atkins, der acht verfeinerte Gemma-Modelle und ein Beta-Modell mit dem Namen GemMoE veröffentlicht hat, welches alle Bugfixes von Gemma enthält und ohne zusätzliche Anpassungen funktionieren soll.

Diese Entwicklung zeigt das Engagement von Google für offene KI und die Bereitstellung von Werkzeugen, die sowohl verantwortungsvolle Nutzung als auch Innovation, Forschung und Zusammenarbeit unterstützen sollen. Google hat auch angekündigt, dass dies erst der Anfang einer Reihe von Entwicklungen im Bereich der offenen Modelle ist, die darauf abzielen, KI für jeden zugänglich und hilfreich zu machen.

Die Verfügbarkeit über Hugging Face und die Möglichkeit, die Modelle mit einem Klick in die Google Cloud zu implementieren, machen die Gemma-Modelle besonders attraktiv für Entwickler und Forscher. Darüber hinaus bietet Google kostenlose Credits für Forschung und Entwicklung an und macht Gemma über Plattformen wie Kaggle und Google Colab zugänglich.

Die offene Natur von Gemma könnte dazu beitragen, die Tür für dezentralisierte KI-Nutzung und möglicherweise auch Entwicklung zu öffnen. Dies zeigt das Potenzial für eine Zukunft, in der alle unsere Telefone durch KI bereichert werden, und hebt hervor, wie wichtig die Kommerzialisierung für Technologiegiganten wie Google ist.

Die Veröffentlichung von Gemma ist ein weiterer bedeutender Schritt in Richtung einer offeneren und kollaborativeren KI-Zukunft. Es ist klar, dass die Zusammenarbeit und der Zugang zu hochwertigen Open-Source-Ressourcen entscheidend für die Weiterentwicklung der KI-Technologie sind. Mit Gemma stellt Google seine offenen LLMs der Welt zur Verfügung, was nicht nur die Innovationskraft verstärkt, sondern auch die Tür für neue, aufregende Anwendungsfälle im Bereich der KI öffnet.

Quellen:
1. Jeff Dean Twitter: https://twitter.com/jeffdean?lang=de
2. Jeff Dean Tweet über Gemma: https://twitter.com/JeffDean/status/1760291769252762110
3. LinkedIn-Post von Brigitte Tousignant zur Einführung von Gemma: https://www.linkedin.com/posts/brigitte-tousignant_welcome-gemma-googles-new-open-llm-activity-7166055742687408128-xPdE
4. LinkedIn-Post von James Manyika zur Vorstellung von Gemma: https://www.linkedin.com/posts/jamesmanyika_gemma-introducing-new-state-of-the-art-open-activity-7166133287999012864-G4LL