Sprachmodelle im Aufschwung Hugging Face erreicht neuen Meilenstein mit über 68000 KI-Modellen

Die Künstliche Intelligenz (KI) hat in den letzten Jahren gewaltige Fortschritte gemacht, und einer der Bereiche, in dem dies besonders deutlich wird, ist die Entwicklung von Sprachmodellen. Hugging Face, eine führende Plattform für kollaborative KI, hat kürzlich einen neuen Meilenstein erreicht: Auf ihrer Plattform sind nun mehr als 68.000 Large Language Models (LLMs) verfügbar. Diese Modelle, die oft auf umfangreichen Datensätzen trainiert werden, sind in der Lage, menschliche Sprache zu verstehen, darauf zu reagieren und sogar selbst Text zu generieren.

Das Gros dieser Sprachmodelle sind sogenannte "Fine-Tunes" oder Derivate bestehender Modelle. Das bedeutet, dass sie auf der Grundlage bereits entwickelter KI-Modelle weiterentwickelt und auf spezifische Anwendungsfälle zugeschnitten wurden. Trotz der großen Anzahl an Varianten gibt es nur eine Handvoll grundlegend neuer "Backbones", also Grundgerüste von Modellen, die von Grund auf neu entwickelt wurden.

Einer der Gründe für die Popularität von Hugging Face ist die Möglichkeit für Forscher und Entwickler, Modelle, Datensätze und Anwendungen zu teilen und gemeinsam daran zu arbeiten. Diese Community-Ansätze tragen dazu bei, dass die Fortschritte im Bereich der KI schneller und transparenter gemacht werden können. Zu den auf der Plattform gehosteten Modellen gehören beispielsweise "TinyLlama", "Mixtral-8x7B-Instruct" und "phi-2", die alle in den letzten Wochen aktualisiert wurden und Tausende von Nutzern anziehen.

Neben den Modellen bietet Hugging Face auch sogenannte "Spaces" – Anwendungen, die auf den Modellen aufbauen und es Benutzern ermöglichen, KI-Modelle interaktiv zu nutzen. Dazu gehören Demos wie "OpenDalle V1.1 GPU Demo" oder "OutfitAnyone", die zeigen, wie vielseitig die KI-Technologie eingesetzt werden kann.

Die Plattform dient als Nährboden für Innovationen und hat bereits Partnerschaften mit großen Organisationen wie dem Allen Institute for AI, Meta, Amazon Web Services und Microsoft. Diese Zusammenarbeit mit führenden Unternehmen und Forschungseinrichtungen unterstreicht die Bedeutung von Hugging Face im KI-Ökosystem.

Eines der faszinierenden Projekte auf Hugging Face ist "FuseChat", ein Modell, das auf der Fusion mehrerer Chat-Large Language Models basiert. Das Team von der Sun Yat-sen University hat einen Ansatz entwickelt, bei dem mehrere LLMs mit unterschiedlichen Architekturen und Größen kombiniert werden, um ein leistungsfähigeres Chat-Modell zu schaffen. Dieses Modell, bekannt als "FuseChat-7B-VaRM", erzielte auf dem MT-Bench Benchmark beeindruckende Ergebnisse und übertraf damit viele andere Chat-Modelle in verschiedenen Skalierungen.

Die Forscher nutzen eine Strategie, die sie "fuse-then-merge" nennen. Zuerst erfolgt eine paarweise Wissensfusion, um mehrere Zielmodelle gleicher Struktur und Größe zu erzeugen. Anschließend werden diese Zielmodelle im Parameterraum zusammengeführt. Dabei kommt eine neuartige Methode namens VaRM zum Einsatz, die die Gewichte für das Zusammenführen auf Basis des Variationsverhältnisses der Parametermatrizen vor und nach dem Feinabstimmen bestimmt.

Die Entwicklungen auf Hugging Face sind ein Beweis für die rasante Entwicklung im Bereich der KI und das wachsende Interesse an Sprachmodellen. Plattformen wie Hugging Face spielen eine entscheidende Rolle, indem sie es Forschern und Entwicklern ermöglichen, Ressourcen zu teilen und gemeinsam an Lösungen zu arbeiten, die die Grenzen des Möglichen erweitern.

Quellen:

1. Hugging Face. (n.d.). The AI community building the future. Retrieved from https://huggingface.co/
2. Wan, F., Yang, Z., Zhong, L., Quan, X., Huang, X., & Bi, W. (2024, February 26). FuseChat: Knowledge Fusion of Chat Models. Retrieved from https://huggingface.co/LoneStriker/FuseChat-7B-TA-GGUF
3. Gao, A. K. [@itsandrewgao]. (2024, March 23). We're excited to share #Constellation, an atlas of 15,821 #LLMs (all TextGen models on @huggingface) [Tweet]. Twitter. Retrieved from https://www.youtube.com/watch?v=ThzNQaqgUsM