Neue Ansätze zur Bewertung von KI-Modellen durch Andrej Karpathy

Die Landschaft der Künstlichen Intelligenz entwickelt sich rasant, und mit ihr die Methoden zur Bewertung der Leistungsfähigkeit von KI-Modellen. Andrej Karpathy, eine prominente Persönlichkeit in der KI-Forschung, bekannt als Mitbegründer von OpenAI und aktueller Forscher bei Anthropic, hat kürzlich eine neue Herangehensweise zur Evaluation von KI-Modellen vorgestellt. Er bezeichnet diese als "Vibe Tests", die über die traditionellen, oft textbasierten Benchmarks hinausgehen und die Fähigkeiten von KI in komplexeren, kreativen und interaktiven Kontexten beleuchten sollen.

Die Evolution der KI-Bewertung: Vom Pelikan zum Auenland

Die bisherigen Benchmarks für grosse Sprachmodelle (LLMs) konzentrierten sich oft auf Aufgaben wie das Generieren von Texten, das Lösen von Logikrätseln oder das Erstellen einfacher 2D-Grafiken. Ein bekanntes Beispiel hierfür ist der sogenannte "Pelican Test", bei dem ein Modell angewiesen wird, eine SVG-Grafik eines Pelikans auf einem Fahrrad zu zeichnen. Solche Tests dienten dazu, die Fähigkeit der Modelle zu überprüfen, auf ungewöhnliche oder nicht direkt in den Trainingsdaten vorhandene Anfragen zu reagieren und räumliches Denken zu demonstrieren.

Karpathy argumentiert jedoch, dass diese Art von Tests zunehmend an ihre Grenzen stösst, da die Modelle immer leistungsfähiger werden. Er schlägt vor, die Bewertung auf komplexere Aufgaben auszuweiten, die mehr als nur die reine Code-Generierung erfordern. Sein jüngstes Experiment mit dem KI-Modell Claude Opus 5 von Anthropic illustriert diesen Ansatz eindrucksvoll.

Das "Herr der Ringe"-Experiment: Eine 3D-Welt aus Text

Der Versuchsaufbau

Für sein Experiment stellte Karpathy Claude Opus 5 eine aussergewöhnliche Aufgabe: Das Modell sollte den ersten Absatz aus J.R.R. Tolkiens "Der Herr der Ringe" in eine interaktive 3D-Browser-Szene umwandeln. Dafür erhielt das Modell ein Budget von einer Million Tokens, was Kosten von etwa 10 US-Dollar entspricht. Die Anweisung beinhaltete, die Szene mithilfe der JavaScript-Bibliothek Three.js zu rendern.

Die Ergebnisse und ihre Implikationen

Das Modell arbeitete autonom für ungefähr zwei Stunden und generierte dabei rund 5.500 Zeilen JavaScript-Code. Das Ergebnis war eine "Low-Poly"-Darstellung des Auenlandes, komplett mit Umweltobjekten, strukturellen Elementen und synchronisierten Animationen. Die Audioausgabe wurde von Eleven Labs bereitgestellt. Karpathy beschrieb das Ergebnis als "roh, aber unterhaltsam" und stellte den Quellcode öffentlich zur Verfügung.

Dieses Experiment verdeutlicht mehrere entscheidende Punkte:

• Potenzial für massgeschneiderte Inhalte: Die Fähigkeit, aus einer einfachen Textbeschreibung eine komplexe 3D-Umgebung zu generieren, eröffnet neue Möglichkeiten für die Erstellung dynamischer, bedarfsgerechter virtueller Welten und Software-Simulationen. Dies könnte die Entwicklung von Spielen, interaktiven Lernumgebungen oder Prototypen revolutionieren.
• Wirtschaftlichkeit: Die relativ geringen Kosten von 10 US-Dollar für die Erstellung einer derart komplexen Szene unterstreichen das Potenzial von KI, hyper-massgeschneiderte Aufgaben zu übernehmen, die für Menschen aufgrund des Zeit- und Arbeitsaufwands kaum realisierbar wären. KI-Modelle verfügen über eine schier unbegrenzte "Ausdauer und Geduld", um solche detaillierten und spezifischen Anforderungen zu erfüllen.
• Verschiebung der KI-Rolle: Das Experiment zeigt, dass KI-Modelle nicht mehr nur Fragen beantworten, sondern ganze Systeme entwerfen und architektonische Aufgaben übernehmen können. Die räumliche Vorstellungskraft, die für die Platzierung und Orchestrierung von Polygon-Assets in einem dreidimensionalen Raum erforderlich ist, ist ein Indikator für fortgeschrittenes Denken.

Herausforderungen und zukünftige Entwicklungen

Trotz des beeindruckenden Erfolgs des Experiments wurden auch Limitationen der aktuellen KI-Modelle deutlich. Ein wesentlicher Engpass besteht in der visuellen Selbstwahrnehmung und -korrektur. Da Claude Opus 5 keine native Echtzeit-Videowahrnehmung besitzt und die interaktive Umgebung nicht direkt testen konnte, musste es sich auf die Aufnahme einzelner Screenshots verlassen, um seine visuellen Ergebnisse zu überprüfen. Dieser Umweg führte zu grafischen Fehlern und strukturellen Inkonsistenzen in der generierten Szene.

Diese Beobachtung unterstreicht die Notwendigkeit weiterer Forschung in multimodaler KI, die in der Lage ist, ihre eigene visuelle Ausgabe in Echtzeit zu interpretieren und darauf basierend Korrekturen vorzunehmen. Die Integration von besseren Feedback-Mechanismen für visuelle Informationen könnte die Qualität und Kohärenz von KI-generierten 3D-Welten erheblich verbessern.

Karpathy sieht in diesen "Vibe Tests" einen Schritt in Richtung einer Zukunft, in der KI-Modelle immer komplexere und kreativere Aufgaben übernehmen. Er spricht von einem "ephemeral GTA on demand", was die Vision von dynamisch generierten, personalisierten Spielwelten beschreibt. Die Entwicklung geht weg von statischen Benchmarks hin zu einer Evaluation, die die Fähigkeit von KI misst, kohärente und funktionale Systeme aus abstrakten Anweisungen zu erschaffen.

Fazit

Andrej Karpathys "Herr der Ringe"-Experiment markiert einen Wendepunkt in der Art und Weise, wie die Fähigkeiten von KI-Modellen bewertet werden. Es zeigt nicht nur das enorme Potenzial von KI zur Generierung komplexer 3D-Umgebungen und massgeschneiderter Software, sondern beleuchtet auch die verbleibenden Herausforderungen, insbesondere im Bereich der multimodalen Selbstkorrektur. Für Unternehmen im B2B-Sektor, die an der Implementierung von KI-Lösungen interessiert sind, bieten diese Entwicklungen wichtige Einblicke in die zukünftigen Anwendungsbereiche und die erforderlichen technologischen Fortschritte, um das volle Potenzial von KI in kreativen und systemarchitektonischen Aufgaben zu nutzen.

Bibliografie

- the-decoder.com. (2026, 3. August). Unicorn, pelican, Middle-earth: OpenAI co-founder Karpathy is looking for the next AI vibe test. the-decoder.com. - Times of India. (2026, 3. August). Andrej Karpathy’s ‘Lord of the Rings’ experiment shows how testing of AI models have changed and what they lack. timesofindia.indiatimes.com. - Thread Reader App. (n.d.). Thread by @karpathy on Thread Reader App. threadreaderapp.com. - TechSphere News. (2026, 3. August). Karpathy pushes AI vibe tests beyond pelicans with Tolkien 3D scene. techspherenews.com. - Singularity Moments. (2026, 3. August). Andrej Karpathy is turning AI evaluation into a 3D sandbox. singularitymoments.com. - DEV Community. (2026, 3. August). Karpathy's $10 Lord of the Rings: When LLMs Start Building Worlds Instead of Answering Questions. dev.to. - The Byte Report. (n.d.). Karpathy Puts Claude Opus 5 to the Test With Tolkien-Inspired 3D Scene. thebytereport.com. - KuCoin. (2026, 3. August). Andrej Karpathy uses Claude Opus 5 to generate a 3D 'Lord of the Rings' world for $10. kucoin.com. - LatestLY. (2026, 3. August). Andrej Karpathy Tests AI With Lord of the Rings 3D World Project Using Claude Opus 5. latestly.com. - AI Front-Page. (2026, 3. August). Karpathy Sees AI Gaming Future As Claude Builds LOTR 3D World. aifront-page.com.