MLE-Bench: Ein neuer Benchmark zur Bewertung von KI-Agenten im Bereich Machine Learning Engineering

Die rasante Entwicklung im Bereich der Künstlichen Intelligenz (KI) hat in den letzten Jahren zu beeindruckenden Fortschritten geführt. Insbesondere große Sprachmodelle (LLMs) haben sich als vielversprechend erwiesen, komplexe Aufgaben zu automatisieren. Doch wie gut sind diese Modelle tatsächlich im Bereich des Machine Learning Engineering? Um diese Frage zu beantworten, wurde MLE-Bench entwickelt, ein neuer Benchmark, der die Fähigkeiten von KI-Agenten in diesem Bereich misst.

Kaggle-Wettbewerbe als Grundlage für realistische Herausforderungen

MLE-Bench nutzt 75 Machine-Learning-bezogene Wettbewerbe von Kaggle als Grundlage. Diese Plattform ist bekannt für ihre praxisnahen Herausforderungen, die ein breites Spektrum an Fähigkeiten im Bereich Machine Learning Engineering abdecken. Die Auswahl der Wettbewerbe für MLE-Bench stellt sicher, dass die KI-Agenten mit realistischen Aufgaben konfrontiert werden, die über einfache Code-Generierung hinausgehen.

Zu den Aufgaben, die die KI-Agenten bewältigen müssen, gehören:

• Trainieren von Modellen
• Vorbereiten von Datensätzen
• Durchführen von Experimenten

Diese Aufgaben erfordern ein tiefes Verständnis von Machine-Learning-Konzepten, -Algorithmen und -Workflows. Um die Leistung der KI-Agenten zu bewerten, werden menschliche Vergleichswerte aus den öffentlich zugänglichen Ranglisten von Kaggle herangezogen.

Open-Source-Agenten-Gerüste für die Bewertung verschiedener Sprachmodelle

Für die Bewertung verschiedener Sprachmodelle auf MLE-Bench werden Open-Source-Agenten-Gerüste verwendet. Diese Gerüste bieten eine standardisierte Umgebung, in der die KI-Agenten agieren können. Die Verwendung von Open-Source-Software gewährleistet Transparenz und ermöglicht es der Forschungsgemeinschaft, die Ergebnisse zu reproduzieren und zu überprüfen.

Erste Ergebnisse zeigen, dass das leistungsstärkste Setup – OpenAI's o1-preview mit AIDE-Gerüst – in der Lage ist, in 16,9 % der Wettbewerbe mindestens das Niveau einer Kaggle-Bronzemedaille zu erreichen. Dies verdeutlicht das Potenzial von KI-Agenten im Bereich Machine Learning Engineering, zeigt aber auch, dass noch viel Raum für Verbesserungen besteht.

Ressourcenskalierung und Einfluss von Vorwissen auf die Leistung der KI-Agenten

Neben den Hauptergebnissen untersucht MLE-Bench auch verschiedene Formen der Ressourcenskalierung für KI-Agenten. Dabei wird analysiert, wie sich die Leistung der Agenten in Abhängigkeit von den verfügbaren Rechenressourcen verändert. Darüber hinaus wird der Einfluss von Vorwissen, das die KI-Agenten während des Vortrainings erworben haben, auf die Leistung bei den MLE-Bench-Aufgaben untersucht.

Die Ergebnisse dieser Untersuchungen liefern wertvolle Erkenntnisse darüber, wie die Leistung von KI-Agenten im Bereich Machine Learning Engineering weiter verbessert werden kann. Sie zeigen beispielsweise, dass eine Erhöhung der Rechenressourcen zu einer Leistungssteigerung führen kann, aber auch, dass die Qualität des Vorwissens eine entscheidende Rolle spielt.

Open-Source-Veröffentlichung von MLE-Bench

Um die Forschung im Bereich der KI-Agenten für Machine Learning Engineering zu fördern, wurde der Code von MLE-Bench als Open Source veröffentlicht. Dies ermöglicht es anderen Forschern, den Benchmark zu nutzen, um ihre eigenen KI-Agenten zu bewerten, neue Aufgaben hinzuzufügen und zur Weiterentwicklung des Benchmarks beizutragen.

Die Open-Source-Veröffentlichung von MLE-Bench ist ein wichtiger Schritt, um die Transparenz und Reproduzierbarkeit von Forschungsergebnissen im Bereich der KI zu erhöhen. Sie trägt dazu bei, die Entwicklung robuster und zuverlässiger KI-Agenten für Machine Learning Engineering voranzutreiben.

Fazit

MLE-Bench ist ein vielversprechender neuer Benchmark, der die Fähigkeiten von KI-Agenten im Bereich Machine Learning Engineering misst. Er bietet realistische Herausforderungen, eine standardisierte Bewertungsumgebung und eine transparente Open-Source-Implementierung. Die ersten Ergebnisse zeigen das Potenzial von KI-Agenten in diesem Bereich auf, machen aber auch deutlich, dass noch viel Forschungsarbeit zu leisten ist.

MLE-Bench wird voraussichtlich einen wichtigen Beitrag zur Entwicklung leistungsfähigerer und zuverlässigerer KI-Agenten für Machine Learning Engineering leisten. Die Open-Source-Veröffentlichung des Benchmarks ermöglicht es der Forschungsgemeinschaft, gemeinsam an der Weiterentwicklung dieser Technologie zu arbeiten.

## Bibliography Chan, J. S., Chowdhury, N., Jaffe, O., Aung, J., Sherburn, D., Mays, E., Starace, G., Liu, K., Maksin, L., Patwardhan, T., Weng, L., & Mądry, A. (2024). MLE-bench: Evaluating Machine Learning Agents on Machine Learning Engineering. *arXiv preprint arXiv:2410.07095*. Huang, Q., Vora, J., Liang, P., & Leskovec, J. (2023). MLAgentBench: Evaluating Language Agents on Machine Learning Experimentation. *arXiv preprint arXiv:2310.03302*. Liu, Y., Tang, X., Cai, Z., Lu, J., Zhang, Y., Shao, Y., Deng, Z., Hu, H., Yang, Z., An, K., ... & Gerstein, M. (2023). ML-Bench: Evaluating Large Language Models and Agents for Machine Learning Tasks on Repository-Level Code. *arXiv preprint arXiv:2311.09835*. Liu, X., Yu, H., Zhang, H., Xu, Y., Lei, X., Lai, H., Gu, Y., Ding, H., Men, K., Yang, K., ... & Huang, M. (2024). AgentBench: Evaluating LLMs as Agents. *arXiv preprint arXiv:2401.00710*.