DBRX von Databricks: Ein neuer Stern am Himmel der Open-Source-Sprachmodelle

In den letzten Jahren hat sich die Landschaft der künstlichen Intelligenz (KI) rapide verändert, insbesondere im Bereich der großen Sprachmodelle (Large Language Models, LLMs), die eine Vielzahl von Anwendungen revolutionieren – von der automatischen Textgenerierung über Übersetzungen bis hin zu komplexen analytischen Aufgaben. Ein neuer Meilenstein in dieser Entwicklung ist die Einführung von DBRX durch Databricks, das laut dem Unternehmen neue Maßstäbe für Open-Source-LLMs setzt.

Databricks, ein führender Anbieter im Bereich Daten- und KI-Dienste, gab bekannt, dass ihr neuestes Modell, DBRX, das auf einer Mischung aus Expertenarchitektur (Mixture of Experts, MoE) basiert, in der Lage ist, herkömmliche Open-Source-Modelle wie GPT-3.5 in branchenüblichen Benchmarks zu übertreffen. Mit seinen 132 Milliarden Parametern demonstrierte DBRX Spitzenleistungen bei Sprachverständnis, Programmierung und mathematischen Aufgaben und übertraf sogar in einigen Benchmarks das geschlossene Modell von Anthropic, Claude.

Ein bedeutender Vorteil des DBRX-Modells ist seine Effizienz, die durch die MoE-Architektur erreicht wird. Diese ermöglicht es dem Modell, bis zu zweimal schneller Inferenzen durchzuführen als vergleichbare Modelle wie LLaMA 2 70B und benötigt dabei weniger aktive Parameter. Databricks zufolge war auch das Training des Modells etwa doppelt so recheneffizient im Vergleich zu dichten Alternativen.

Die Vorteile von DBRX erschöpfen sich nicht nur in seiner Leistungsfähigkeit. Das Modell wurde auf einer umfangreichen Menge von 12 Billionen Token präzise kuratierter Text- und Code-Daten trainiert, um die Qualität weiter zu verbessern. Es nutzt Technologien wie die Rotary Position Encodings und Curriculum Learning während des Pretrainings.

Unternehmen können über APIs mit DBRX interagieren oder die Tools von Databricks nutzen, um das Modell auf ihren proprietären Daten fein abzustimmen. So wird es bereits in die KI-Produkte von Databricks integriert und bietet Unternehmen die Möglichkeit, auf der Grundlage ihrer eigenen Daten maßgeschneiderte logische Fähigkeiten zu entwickeln.

Die Einführung von DBRX fällt in eine Zeit, in der Unternehmen zunehmend einen bedeutenden Teil ihres KI-Budgets für generative KI ausgeben. Dabei stellen Datensicherheit und Datenschutz die drei größten Herausforderungen dar. Mit der End-to-End-Datenintelligenzplattform von Databricks und der Einführung von DBRX wird Unternehmen die Möglichkeit geboten, generative KI-Anwendungen zu erstellen, die sicher, reguliert und an den Kontext ihres Geschäfts angepasst sind, während sie gleichzeitig die Kontrolle und das Eigentum an ihrem geistigen Eigentum behalten.

Das Feedback von Partnern wie Accenture, Block, Nasdaq, Prosus, Replit und Zoom unterstreicht das Potenzial von DBRX, die Akzeptanz von offenen, angepassten großen Sprachmodellen in Unternehmen zu beschleunigen. Analysten prognostizieren, dass dies zu einer Verschiebung von geschlossenen hin zu Open-Source-Modellen führen könnte, da feinabgestimmte Open-Source-Modelle eine Leistung bieten, die mit proprietären Modellen konkurriert.

Für Entwickler und Forscher ist DBRX auf GitHub und Hugging Face zugänglich, wo Basis- und feinabgestimmte Modelle zur Verfügung stehen, zusammen mit weiteren Ressourcen und Codebeispielen.

Databricks' Fortschritte und die Einführung von DBRX könnten einen Wendepunkt in der generativen KI darstellen, indem sie die Leistungsfähigkeit von Open-Source-Modellen unter Beweis stellen und Unternehmen ermutigen, eigene, auf ihre spezifischen Anforderungen zugeschnittene KI-Lösungen zu entwickeln und zu nutzen.

Quellen:
- Ryan Daws, Artificial Intelligence News, "Databricks claims DBRX sets ‘a new standard’ for open-source LLMs", 28. März 2024.
- Databricks Company Blog, "Announcing DBRX: A new standard for efficient open source LLMs", 27. März 2024.
- PR Newswire, "Databricks Launches DBRX, A New Standard for Efficient Open Source Models", 27. März 2024.