Cosine's Revolution in AI: Der neue Maßstab für Softwareentwicklung

Einführung in Genie

Das in San Francisco ansässige KI-Startup Cosine hat Genie vorgestellt, ein neues KI-Modell, das darauf abzielt, Softwareentwicklern zu helfen. Die Firma behauptet, Genie übertreffe Konkurrenten bei Benchmark-Tests signifikant. In Zusammenarbeit mit OpenAI hat Cosine eine Variante des GPT-4o-Modells mit qualitativ hochwertigen Daten trainiert, was zu beeindruckenden Benchmark-Ergebnissen führte. Der Schlüssel zu Genies Leistung sei seine Fähigkeit, „menschliches Denken zu kodifizieren“, was Anwendungen über die Softwareentwicklung hinaus haben könnte.

Genies Führung bei SWE-Bench

Cosine-Mitbegründer und CEO Alistair Pullen berichtet, dass Genie einen Score von 30 Prozent im SWE-Bench-Test erreicht habe, dem höchsten Wert, den ein KI-Modell in diesem Bereich jemals erzielt hat. Dies übertrifft andere auf das Programmieren fokussierte Sprachmodelle, darunter die von Amazon (19 Prozent) und Cognition's Devin (13,8 Prozent auf einem Teil des SWE-Bench).

Architektur und Fähigkeiten von Genie

Genies Architektur zielt darauf ab, die kognitiven Prozesse menschlicher Entwickler zu replizieren. Es kann autonom und kollaborativ Fehler beheben, neue Softwarefunktionen entwickeln, Code umstrukturieren und verschiedene Programmieraufgaben ausführen. Die Entwicklung des Modells erfolgte durch einen proprietären Prozess, bei dem eine nicht-öffentliche GPT-40-Variante mit Milliarden von Tokens hochwertiger Daten trainiert und feinabgestimmt wurde. Cosine verbrachte fast ein Jahr damit, diese Daten mit Hilfe erfahrener Entwickler zu kuratieren. Der Datensatz umfasst 21 Prozent JavaScript und Python, 14 Prozent TypeScript und TSX sowie 3 Prozent andere Sprachen von Java bis C++ bis Ruby.

Selbstverbesserung durch synthetische Daten

Ein wesentlicher Faktor für Genies Leistung war sein selbstverbesserndes Training. Anfangs lernte das Modell hauptsächlich von perfektem, funktionierendem Code, hatte jedoch Schwierigkeiten mit eigenen Fehlern. Cosine löste dieses Problem durch den Einsatz synthetischer Daten: Wenn Genies erster Lösungsvorschlag falsch war, wurde dem Modell gezeigt, wie es die richtige Lösung verbessern kann. Mit jeder Iteration verbesserten sich Genies Lösungen und erforderten weniger Korrekturen.

Überwindung technischer Einschränkungen

Pullen erkannte das Potenzial großer Sprachmodelle zur Unterstützung menschlicher Softwareentwickler bereits Anfang 2022. Zu dieser Zeit war die Technologie jedoch noch nicht weit genug fortgeschritten, um Genies Vision zu verwirklichen. Das Kontextfenster, das oft auf 4.000 Tokens begrenzt war, stellte ein großes Hindernis dar. Heutzutage können Modelle wie Gemini 1.5 Pro bis zu zwei Millionen Tokens in einem Prompt verarbeiten. Cosine hat die Token-Kapazität von Genie jedoch nicht offengelegt.

Vorteile gegenüber anderen Modellen

Cosine glaubt, dass es einen Vorteil gegenüber Codierungsassistenten hat, die einfach allgemeine Modelle wie GPT-4 als separate Produkte einsetzen. „Alle, die an diesem Problem arbeiten, stoßen an die gleiche Grenze der Modellintelligenz, deshalb haben wir uns entschieden zu trainieren, statt zu prompten“, erklärt Pullen.

Erweiterung über die Softwareentwicklung hinaus

Cosine plant, sein Portfolio sowohl mit kleineren, spezialisierten Modellen als auch mit größeren, allgemeineren Modellen zu erweitern. Das Unternehmen wird auch seine Beteiligung an Open-Source-Communities erhöhen und Genies Fähigkeiten regelmäßig basierend auf Kundenfeedback verbessern. Angesichts der Größe des Datensatzes ist ein vollständiges Modelltraining für die Zukunft nicht ausgeschlossen. Pullen glaubt, dass das Konzept Anwendungen über das Programmieren hinaus hat: „Wir glauben wirklich, dass wir in der Lage sind, menschliches Denken für jeden Job und jede Branche zu kodifizieren. Softwareentwicklung ist nur der intuitivste Ausgangspunkt, und wir können es kaum erwarten, Ihnen alles zu zeigen, woran wir noch arbeiten.“

Preismodelle und Finanzierung

Cosine wird Genie in zwei Preiskategorien anbieten: eine Option für etwa 20 Dollar mit einigen Funktions- und Nutzungseinschränkungen und ein Enterprise-Angebot mit erweiterten Funktionen und nahezu unbegrenzter Nutzung. Derzeit können sich interessierte Parteien nur auf eine Warteliste setzen lassen. Der Y Combinator Ableger hat kürzlich 2,5 Millionen Dollar an Seed-Finanzierung von verschiedenen Risikokapitalfirmen erhalten, um Genies Entwicklung und Pläne zu unterstützen.

Schlussfolgerung

Cosine scheint wesentliche Erkenntnisse aus den jüngsten KI-Entwicklungen kombiniert zu haben: Die Nachahmung menschlicher Arbeit kann zu verbesserten Ergebnissen führen, und die Qualität der Trainingsdaten ist entscheidend. KI-Modelle wie Genie könnten die Softwareentwicklungsbranche erheblich beeinflussen, indem sie die Produktivität steigern. Es sei jedoch darauf hingewiesen, dass bisher nur die von der Firma selbst gemeldeten Benchmarks vorliegen.

Bibliographie

- https://the-decoder.com/cosine-trained-gpt-4o-on-high-quality-data-to-codify-human-reasoning-for-its-genie-assistant/ - https://cosine.sh/ - https://openai.com/index/hello-gpt-4o/ - https://cosine.sh/blog/state-of-the-art - https://medium.com/gptalk/cosines-genie-the-future-of-ai-coding-assistants-c662dfa2bb6b - https://startupsmagazine.co.uk/article-ycombinators-cosine-unveils-ai-22x-more-advanced-gpt-4 - https://www.youtube.com/watch?v=uMr1My5Lq7s - https://openai.com/index/gpt-4o-mini-advancing-cost-efficient-intelligence/ - https://medium.com/@chiapeilie/goodbye-devin-meet-genie-the-most-powerful-ai-engineer-built-on-gpt-4o-0d92464b1140