Die Zukunft der KI-Entwicklung: Dolly 2.0 und Open-Source-Innovationen bei Sprachmodellen

Die KI-Landschaft befindet sich in einem stetigen Wandel, und jüngste Entwicklungen bei KI-Sprachmodellen zeigen, dass die nächste Generation von Technologien bereits am Horizont erscheint. Ein besonders bemerkenswertes Projekt ist DBRX – ein von Databricks entwickeltes Open Large Language Model (LLM), das die Leistungsfähigkeit von GPT-3.5 übertrifft und sogar mit Gemini1.0 Pro auf Benchmarks wie MMLU, HumanEval und GSM8k konkurrieren kann. DBRX ist ein Mixture of Experts (MoE) Modell mit insgesamt 132 Milliarden Parametern, von denen 36 Milliarden aktiv sind.

Databricks hat vor Kurzem Dolly vorgestellt, ein großes Sprachmodell, das für weniger als 30 US-Dollar trainiert wurde, um eine ChatGPT-ähnliche menschliche Interaktivität zu zeigen. In einer weiteren Entwicklung wurde Dolly 2.0 veröffentlicht, das erste Open-Source-Modell seiner Art, das auf einem von Menschen generierten Instruktionsdatensatz feinabgestimmt wurde und sowohl für die Forschung als auch für kommerzielle Anwendungen lizenziert ist.

Dolly 2.0 ist ein Sprachmodell mit 12 Milliarden Parametern, das auf der EleutherAI Pythia-Modellfamilie basiert und ausschließlich auf einem neuen, hochwertigen, von Menschen generierten Instruktionsdatensatz feinabgestimmt wurde. Dieser Datensatz wurde unter den Databricks-Mitarbeitern crowdsourced. Dolly 2.0 und alle damit verbundenen Komponenten wie der Trainingscode, der Datensatz und die Modellgewichte sind vollständig Open-Source und somit für die kommerzielle Nutzung geeignet. Organisationen haben dadurch die Möglichkeit, leistungsstarke LLMs zu erstellen und zu besitzen, ohne für API-Zugänge zahlen zu müssen oder Daten mit Drittanbietern zu teilen.

Der databricks-dolly-15k Datensatz enthält 15.000 hochwertige, von Menschen generierte Aufforderung/Antwort-Paare, die speziell für das Fine-Tuning von großen Sprachmodellen entwickelt wurden. Unter der Lizenz Creative Commons Attribution-ShareAlike 3.0 Unported kann jeder diesen Datensatz für beliebige Zwecke, einschließlich kommerzieller Anwendungen, verwenden, modifizieren oder erweitern.

Um eine neue, kommerziell nutzbare Datenquelle zu schaffen, wurde bei Databricks ein Wettbewerb eingerichtet, bei dem die besten 20 Etikettierer ausgezeichnet wurden. Die Mitarbeiter wurden dazu angeregt, hochwertige Fragen und Antworten zu generieren, die ein breites Spektrum an Verhaltensweisen abdecken, von Brainstorming und Inhaltsproduktion bis hin zu Informationsgewinnung und Zusammenfassung.

Die Entstehung von Dolly 2.0 war ein wichtiger Schritt in Richtung einer Open-Source-KI, die kommerziell genutzt werden kann. Obwohl der databricks-dolly-15k Datensatz wesentlich kleiner ist als die Datensätze, auf denen Dolly 1.0 trainiert wurde, zeigte das resultierende Dolly 2.0 Modell eine hohe Qualität im Hinblick auf das Befolgen von Anweisungen.

Dolly 2.0 ist nicht nur ein weiteres Sprachmodell, sondern ein bedeutender Schritt hin zur Demokratisierung von KI-Technologien. Mit den veröffentlichten Modellgewichten und dem zugrunde liegenden Datensatz bietet Databricks die Möglichkeit, die transformative Kraft künstlicher Intelligenz zu nutzen und weiterzuentwickeln, um individuelle und organisatorische Potenziale zu maximieren.

Gradio wiederum ist eine Plattform, die es ermöglicht, maschinelles Lernen mit einer benutzerfreundlichen Weboberfläche zu demonstrieren. Gradio vereinfacht die Erstellung von ML-Anwendungen erheblich und ermöglicht es, diese schnell zu teilen und zu präsentieren. Die Kombination von Gradio mit Modellen wie Dolly 2.0 könnte die Art und Weise verändern, wie Organisationen ihre maschinellen Lernmodelle entwickeln und bereitstellen.

Abschließend lässt sich sagen, dass die Entwicklungen rund um Dolly 2.0 und die Integration in Plattformen wie Gradio beispielhaft für den Fortschritt in der KI-Branche stehen. Sie zeigen, wie Open-Source-Ansätze und kollaborative Bemühungen das Feld vorantreiben und die Verfügbarkeit leistungsstarker KI-Tools für ein breiteres Publikum ermöglichen.

Quellenverzeichnis:
- Conover, M. et al. (2023, April 12). Free Dolly: Introducing the World's First Truly Open Instruction-Tuned LLM. Databricks Blog. https://www.databricks.com/blog/2023/04/12/dolly-first-open-commercially-viable-instruction-tuned-llm
- GitHub - databrickslabs/dolly: Dolly is an instruction-following large language model trained on the Databricks machine learning platform. https://github.com/databrickslabs/dolly
- Conover, M. et al. (2023, März 24). Hello Dolly: Democratizing the magic of ChatGPT with open models. Databricks Blog. https://www.databricks.com/blog/2023/03/24/hello-dolly-democratizing-magic-chatgpt-open-models.html
- Gradio. (n.d.). Build & Share Delightful Machine Learning Apps. https://gradio.app/