OpenELM und Apple ebnet den Weg für eine neue Ära offener Sprachmodelle in der KI-Forschung
Artikel jetzt als Podcast anhören
In der Welt der künstlichen Intelligenz (KI) und maschinellen Lernens (ML) markieren offene Quellen und die Zusammenarbeit von Unternehmen wie Apple Inc. mit der Open-Source-Gemeinschaft den Beginn einer neuen Ära. Im Mittelpunkt dieses Wandels steht OpenELM – eine Familie effizienter Sprachmodelle (Language Models), die als bahnbrechend für die Forschung und Entwicklung in diesem Bereich gelten. Die Ankündigung, dass Apple Inc. sich der Gemeinschaft der Ausbilder für Open-Source-Sprachmodelle anschließt, hat in der KI-Community für großes Aufsehen gesorgt.
OpenELM steht für "Open-source Efficient Language Models" und ist eine Sammlung von Sprachmodellen, die auf einer Schichtskalierungsstrategie basieren. Diese Strategie ermöglicht es, Parameter innerhalb jeder Schicht des Transformer-Modells effizient zuzuweisen, was zu einer verbesserten Genauigkeit führt. Zum Beispiel zeigt OpenELM mit einem Parameterbudget von etwa einer Milliarde Parametern eine Verbesserung der Genauigkeit um 2,36% im Vergleich zum OLMo-Modell, während es gleichzeitig nur halb so viele Pre-Training Tokens benötigt.
Der Ansatz von OpenELM unterscheidet sich von früheren Verfahren, die nur Modellgewichte und Inferenzcode bereitstellten und auf privaten Datensätzen vortrainierten. Die Veröffentlichung von OpenELM umfasst das vollständige Framework für das Training und die Evaluation des Sprachmodells auf öffentlich verfügbaren Datensätzen. Dies schließt Trainingsprotokolle, mehrere Checkpoints und Vorkonfigurationen für das Training ein. Darüber hinaus steht der Code für die Umwandlung von Modellen für die MLX-Bibliothek zur Inferenz und Feinabstimmung auf Apple-Geräten zur Verfügung. Diese umfassende Veröffentlichung zielt darauf ab, die Open-Research-Gemeinschaft zu stärken und den Weg für zukünftige offene Forschungsvorhaben zu ebnen.
Zusätzlich zu OpenELM wurde auch eine neue Bibliothek mit dem Namen CoreNet vorgestellt. CoreNet ist ein Projekt von Apple, das zur Entwicklung und Anpassung von OpenELM-Modellen beiträgt. Es ermöglicht die Verwendung der Modelle für verschiedene Anwendungsfälle und unterstützt die Implementierung der Modelle auf Apple-Geräten.
Die Reaktionen auf die Veröffentlichung von OpenELM und CoreNet sind überwältigend positiv. In der KI-Gemeinschaft wird dies als ein Schritt gesehen, der die Türen für mehr Transparenz, Wiederholbarkeit und Forschung in einem Bereich öffnet, der bisher von proprietären Modellen dominiert wurde.
Die Bedeutung offener Sprachmodelle wie OpenELM kann nicht hoch genug eingeschätzt werden. Sie sind entscheidend für den Fortschritt der offenen Forschung, die Vertrauenswürdigkeit von Ergebnissen und ermöglichen Untersuchungen zu Daten- und Modellverzerrungen sowie potenziellen Risiken. Die Verfügbarkeit dieser Modelle und des zugehörigen Codes auf Plattformen wie Hugging Face und GitHub erleichtert es Forschern und Entwicklern, an der Weiterentwicklung der Modelle mitzuwirken und die Modelle für eine Vielzahl von Anwendungen anzupassen.
Die Veröffentlichung von OpenELM und die Zusammenarbeit mit Apple stellen einen Wendepunkt dar, der die Landschaft der KI-Forschung und -Entwicklung nachhaltig verändern könnte. Die Open-Source-Gemeinschaft erhält dadurch nicht nur Zugang zu hochmodernen Sprachmodellen, sondern auch die Möglichkeit, diese Modelle auf eine Weise zu verwenden und weiterzuentwickeln, die ohne die Freigabe des Codes und der Trainingsverfahren nicht möglich gewesen wäre.
Quellen:
- Mehta, S., Sekhavat, M. H., Cao, Q., Horton, M., Jin, Y., Sun, C., ... & Rastegari, M. (2024). OpenELM: An Efficient Language Model Family with Open-source Training and Inference Framework. arXiv preprint arXiv:2404.14619.
- Hugging Face OpenELM Collection. Verfügbar unter: https://huggingface.co/collections/apple/openelm-instruct-models-6619ad295d7ae9f868b759ca…
- CoreNet GitHub Repository. Verfügbar unter: https://github.com/apple/corenet
- Twitter-Account von Thomas Wolf: https://twitter.com/thom_wolf?lang=de
- Awesome-LLM GitHub Repository. Verfügbar unter: https://github.com/Hannibal046/Awesome-LLM
