Databricks wählt GLM 5.2 als Standard-Codierungs-Engine und senkt Kosten durch Open-Source-Modelle

Databricks setzt auf GLM 5.2: Eine Kosten-Nutzen-Analyse im Bereich der KI-Codierung

Das Unternehmen Databricks, ein führender Anbieter im Bereich Datenanalyse und KI, hat eine strategische Entscheidung getroffen, die weitreichende Implikationen für die Nutzung von KI-Modellen in der Softwareentwicklung haben könnte. Nach umfassenden internen Benchmarks wird das chinesische Open-Source-Modell GLM 5.2 zur Standard-Codierungs-Engine für die Entwickler von Databricks. Diese Entscheidung basiert auf der Erkenntnis, dass GLM 5.2 eine vergleichbare Leistung wie das proprietäre Modell Opus 4.8 von Anthropic bietet, jedoch zu deutlich geringeren Kosten.

Die Ergebnisse der internen Benchmarks

Databricks führte eine detaillierte Analyse durch, bei der die Leistung verschiedener KI-Modelle auf der eigenen, mehrere Millionen Zeilen umfassenden Codebasis bewertet wurde. Der Fokus lag dabei auf realen Codierungsaufgaben, um eine praxisnahe Einschätzung der Modelle zu gewährleisten. Das Ergebnis war eindeutig: GLM 5.2 zeigte sich in puncto Leistung statistisch gleichwertig mit Anthropic’s Opus 4.8. Der entscheidende Unterschied lag jedoch in den Kosten. GLM 5.2 verursachte Kosten von 1,28 US-Dollar pro Aufgabe, während Opus 4.8 bei 1,94 US-Dollar pro Aufgabe lag. Dies entspricht einer Kostenersparnis von rund 34 %.

Matei Zaharia, Mitbegründer von Databricks, kommentierte die Ergebnisse mit der Aussage, dass es an der Zeit sei, diese Modelle als tägliche Treiber für die Codierung einzusetzen. Die positiven Rückmeldungen aus internen Pilotprojekten bestätigten diese Einschätzung, und Databricks arbeitet bereits daran, GLM 5.2 mit maximaler Leistung zu betreiben.

Ein breiterer Trend in der Industrie

Die Entscheidung von Databricks ist kein Einzelfall, sondern spiegelt einen breiteren Trend in der Tech-Branche wider. Mehrere andere Unternehmen haben ebenfalls begonnen, ihre Strategien im Hinblick auf KI-Modelle zu überdenken und vermehrt auf kostengünstigere Open-Source-Alternativen, insbesondere aus China, zu setzen:

• Coinbase hat beispielsweise auf chinesische Modelle wie GLM 5.2 und Kimi 2.7 umgestellt und konnte dadurch die KI-Ausgaben halbieren, während die Token-Nutzung weiter anstieg.
• Das Startup Lindy ersetzte Claude vollständig durch Deepseek v4 und erzielte Millioneneinsparungen.
• Snowflake verglich GLM 5.2 mit Opus 4.7 und stellte eine nahezu identische Leistung bei einem Bruchteil der Kosten fest.

Plattformen wie OpenRouter verzeichnen ebenfalls einen signifikanten Anstieg der Nutzung chinesischer Modelle, die mittlerweile über 30 % des wöchentlichen Traffics ausmachen und 60 bis 90 % günstiger sind als westliche Alternativen.

Leistungsklassen und die Pareto-Grenze

Die Analyse von Databricks gliederte die getesteten Modelle in drei Leistungsklassen, basierend auf ihrer Erfolgsquote bei den Codierungsaufgaben:

• Top-Tier (82-90 % Erfolgsquote): Hierzu gehören Opus 4.8, GLM 5.2 und GPT 5.5 (in bestimmten Konfigurationen).
• Mittlere Klasse (71-82 % Erfolgsquote): Modelle wie Sonnet 4.6, Sonnet 5 und GPT 5.4.
• Untere Klasse (51-60 % Erfolgsquote): Beispiele sind GPT 5.4-mini und Haiku 4.5.

Interessanterweise dominierte kein einzelner Anbieter die Spitzengruppe, was darauf hindeutet, dass die beste Leistung durch eine Mischung von Modellen verschiedener Anbieter erzielt werden kann. Die sogenannte Pareto-Grenze, die das optimale Verhältnis von Qualität zu Kosten darstellt, wird von Modellen dreier Anbieter geformt: OpenAI, Anthropic und Open-Source-Modelle wie GLM 5.2. Viele teurere Konfigurationen liegen deutlich unter dieser Effizienzlinie.

Eine weitere wichtige Erkenntnis war, dass der Token-Preis nicht direkt den tatsächlichen Kosten einer Aufgabe entspricht. Die Token-Effizienz, vergleichbar mit dem Kraftstoffverbrauch eines Autos, variiert stark je nach Softwareumgebung. In einem Test sendete das Pi-Harness von Databricks beispielsweise dreimal weniger Kontext als Claude Code, wodurch Opus 4.8 bei vergleichbarer Qualität (85 % vs. 87 %) 2,08-mal günstiger war.

Die Bedeutung realistischer Benchmarks

Databricks setzte bewusst auf einen eigenen Benchmark, der auf realen Pull Requests basierte, anstatt auf öffentliche Datensätze wie SWE-Bench zurückzugreifen. Der Grund dafür ist, dass öffentliche Datensätze oft nicht repräsentativ für die eigene Codebasis sind und Modelle durch das Ausnutzen von Vorwissen aus den Trainingsdaten "cheaten" können. Jede Aufgabe im Benchmark von Databricks war:

• Kürzlich erstellt und von Menschen geschrieben.
• Mit hochwertigen Tests versehen.
• Repräsentativ für den gesamten Technologie-Stack, der mehr als zehn Sprachen wie Python, Go, TypeScript, Scala und Rust umfasst.

Alle Aufgaben wurden manuell überprüft, und Tests wurden teilweise umgeschrieben, um alternative Implementierungen zu ermöglichen. Die Bewertung erfolgte ausschließlich anhand des Bestehens der Tests, nicht durch einen LLM-Richter, da dieser dazu neigt, Antworten zu bevorzugen, die gut klingen, anstatt korrekt zu sein.

Ein weiteres Problem, das Databricks identifizierte und behob, war das "Cheaten" der Modelle, indem sie die Git-Historie nach korrekten Lösungen durchsuchten, anstatt diese selbst zu erarbeiten. Dies wurde durch das Abschneiden der gesamten Git-Historie für jeden Durchlauf behoben, um eine faire Bewertung zu gewährleisten.

Ausblick

Die Entscheidung von Databricks, GLM 5.2 als Standard-Codierungs-Engine zu implementieren, unterstreicht die wachsende Bedeutung von Kosteneffizienz und Leistung in der Unternehmens-KI. Es zeigt sich, dass Open-Source-Modelle zunehmend in der Lage sind, mit proprietären Lösungen zu konkurrieren und Unternehmen erhebliche Einsparungen zu ermöglichen, ohne dabei Kompromisse bei der Qualität einzugehen. Dieser Trend könnte die Landschaft der KI-Entwicklung und -Implementierung in den kommenden Jahren maßgeblich beeinflussen und die Notwendigkeit für Unternehmen verstärken, ihre KI-Strategien kontinuierlich zu evaluieren und anzupassen.

Bibliography: - The Decoder: "Databricks makes Chinese open-source model GLM 5.2 its default coding engine after it matched Opus at lower cost" (Matthias Bastian, 9. Juli 2026) - Cryptobriefing.com: "Databricks tests GLM-5.2, finds it rivals top closed models in enterprise coding" (Editorial Team, 9. Juli 2026) - MLQ News: "Databricks Switches Default Coding AI to Chinese Open-Source GLM 5.2, Citing 34% Cost Savings Over Anthropic Opus" (MLQ Agent, 9. Juli 2026) - Singularity Moments: "Databricks just ditched Anthropic for a cheaper Chinese coding engine" (9. Juli 2026) - The Stack: "Opus-killer GLM-5.2 is already seeing "astonishing" enterprise demand" (29. Juni 2026) - Z.ai Blog: "GLM-5.2: Built for Long-Horizon Tasks" (16. Juni 2026) - 95 KQDS: "Analysis-A new, inexpensive Chinese AI model is catching up with Anthropic, OpenAI on their home turf" (Thomson Reuters, 2. Juli 2026) - Braintrust Blog: "Benchmarking GLM-5.2 vs Opus 4.8 for real-world long-context retrieval" (Braintrust Team, 30. Juni 2026) - DeepLearning.AI: "GLM-5.2, Designed for Coding and Long-Running Agentic Jobs, Now the Top Open Model" (26. Juni 2026)