OpenAI präsentiert neuen Benchmark MLE-bench zur Bewertung von KI-Engineering-Fähigkeiten
OpenAIs o1-preview dominiert KI-Engineering-Benchmark
OpenAI hat mit MLE-bench einen neuen Benchmark entwickelt, um zu bewerten, wie gut KI-Agenten in der Lage sind, Machine-Learning-Lösungen zu entwickeln. Der Benchmark umfasst 75 Kaggle-Wettbewerbe und soll den Fortschritt autonomer KI-Systeme im Bereich des ML-Engineerings messen.
MLE-bench: Fokus auf Herausforderungen und Vergleichbarkeit
MLE-bench konzentriert sich auf zwei Kernbereiche: die Auswahl anspruchsvoller Aufgaben, die die aktuelle ML-Entwicklung repräsentieren, und den Vergleich von KI-Ergebnissen mit menschlicher Leistung.
Die 75 Wettbewerbe decken verschiedene Bereiche ab, darunter Natural Language Processing, Computer Vision und Signalverarbeitung. Viele Aufgaben haben reale Anwendungen, wie die Vorhersage der Degradation von COVID-19-mRNA-Impfstoffen oder die Dekodierung alter Schriftrollen.
Erste Tests zeigen Potenzial und Grenzen auf
OpenAI testete verschiedene KI-Modelle und Agenten-Frameworks auf MLE-bench. Das o1-preview-Modell mit dem AIDE-Framework schnitt am besten ab und erreichte in 16,9 % der Wettbewerbe mindestens eine Bronzemedaille. Dieses Ergebnis übertraf Anthropics Claude 3.5 Sonnet.
Die Forscher untersuchten auch, wie sich verschiedene Skalierungsmethoden auf die Leistung von KI-Agenten auswirken. Mehr Versuche pro Wettbewerb verbesserten die Erfolgsraten signifikant. Mit 8 Versuchen verdoppelte sich die Medaillenrate von o1-preview auf 34,1 %. Längere Bearbeitungszeiten führten zu besseren Ergebnissen. GPT-4o steigerte seine Medaillenrate von 8,7 % auf 11,8 %, wenn die Bearbeitungszeit von 24 auf 100 Stunden verlängert wurde. Zusätzliche GPU-Leistung hatte jedoch kaum Einfluss auf die Leistung.
MLE-bench: Ein fortlaufendes Projekt
Bei der Erstellung von MLE-bench sah sich OpenAI Herausforderungen gegenüber, wie z. B. der potenziellen Kontamination durch öffentlich zugängliche Kaggle-Wettbewerbe. Um dem entgegenzuwirken, setzte das Unternehmen einen Plagiatsdetektor ein, um die Einreichungen der Agenten mit den besten Kaggle-Lösungen zu vergleichen, und führte Experimente durch, um die Auswirkungen der Kontamination zu überprüfen.
OpenAI räumt ein, dass MLE-bench nicht alle Aspekte der KI-Forschung und -Entwicklung abdeckt. Der Benchmark konzentriert sich auf Aufgaben mit klaren Problemstellungen, sauberen Datensätzen und einfachen Bewertungsmetriken. Herausforderungen in der realen Welt sind oft weniger klar definiert.
Trotz dieser Einschränkungen sieht OpenAI in MLE-bench ein wertvolles Werkzeug zur Bewertung von Kernkompetenzen im Bereich des ML-Engineerings. Dazu gehören die Aufbereitung großer multimodaler Datensätze, die Verwaltung langwieriger Trainingsprozesse und das Debuggen leistungsschwacher Modelle.
Der MLE-bench-Benchmark ist auf GitHub verfügbar.
Hintergrund: OpenAIs o1-preview
o1-preview ist ein fortschrittliches KI-Modell, das von OpenAI entwickelt wurde. Es handelt sich um ein sogenanntes "Large Reasoning Model" (LRM), das sich durch seine Fähigkeit auszeichnet, komplexe Probleme mithilfe von "Chain-of-Thought" (CoT) Reasoning zu lösen. CoT ermöglicht es dem Modell, Zwischenschritte bei der Lösung eines Problems zu generieren und zu bewerten, ähnlich wie es ein Mensch tun würde. Dies führt zu einer höheren Genauigkeit und Problemlösungsfähigkeit im Vergleich zu herkömmlichen Sprachmodellen.
o1-preview hat in verschiedenen Benchmarks und Tests beeindruckende Ergebnisse erzielt, die seine Fähigkeiten im Bereich des Codierens, der Mathematik und der Wissenschaft belegen. Es übertrifft in einigen Aufgaben sogar die Leistung menschlicher Experten. Dennoch ist es wichtig zu beachten, dass o1-preview noch in der Entwicklung ist und Einschränkungen aufweist. So ist es beispielsweise langsamer und teurer in der Nutzung als andere Modelle und unterstützt noch nicht alle Funktionen, die von Modellen wie GPT-4o geboten werden.
Fazit
MLE-bench ist ein vielversprechender neuer Benchmark zur Bewertung der Fähigkeiten von KI-Agenten im Bereich des ML-Engineerings. Die ersten Ergebnisse zeigen, dass OpenAIs o1-preview in diesem Bereich führend ist, aber auch, dass noch viel Raum für Verbesserungen besteht. MLE-bench wird dazu beitragen, die Entwicklung autonomer KI-Systeme voranzutreiben, die komplexe Probleme in der realen Welt lösen können.
