Große Sprachmodelle (LLMs) haben zwar bedeutende Fortschritte bei der Codegenerierung gemacht, doch die Erfolgsquote des generierten Codes wird durch subtile Fehler gebremst, die oft menschliches Eingreifen erfordern, um Tests zu bestehen, insbesondere bei komplexen Problemen. Bestehende LLM-basierte Debugging-Systeme behandeln generierte Programme als monolithische Einheiten und sind nicht in der Lage, Fehler auf verschiedenen Granularitätsebenen zu beheben, von Syntaxfehlern auf niedriger Ebene bis hin zu algorithmischen Fehlern auf hoher Ebene. In diesem Artikel stellen wir den Multi-Granularity Debugger (MGDebugger) vor, einen hierarchischen Code-Debugger, der Fehler auf verschiedenen Granularitätsebenen isoliert, identifiziert und behebt.
Hierarchisches Debugging mit dem MGDebugger
Der MGDebugger zerlegt problematischen Code in eine hierarchische Baumstruktur von Unterfunktionen, wobei jede Ebene eine bestimmte Granularität des Fehlers darstellt. Während des Debuggings analysiert er jede Unterfunktion und behebt Fehler iterativ von unten nach oben. Um jede Unterfunktion effektiv zu testen, schlagen wir einen LLM-simulierten Python-Ausführer vor, der die Codeausführung verfolgt und wichtige Variablenzustände protokolliert, um Fehler genau zu lokalisieren.
Vorteile des mehrstufigen Ansatzes
Der hierarchische Ansatz des MGDebuggers bietet mehrere Vorteile gegenüber herkömmlichen Debugging-Methoden. Durch die Zerlegung des Codes in kleinere, leichter zu analysierende Einheiten kann der Debugger Fehler auf jeder Ebene der Abstraktion effektiver identifizieren und beheben. Dies ist besonders nützlich bei komplexen Programmen, bei denen es schwierig sein kann, die Grundursache eines Fehlers zu isolieren.
LLM-simulierter Python-Ausführer
Der LLM-simulierte Python-Ausführer ist ein wichtiger Bestandteil des MGDebuggers. Er ermöglicht es dem Debugger, den Code Schritt für Schritt auszuführen und die Werte von Variablen an jedem Punkt zu untersuchen. Diese Informationen sind entscheidend, um die Ursache von Fehlern zu verstehen und geeignete Korrekturen zu finden.
Experimentelle Ergebnisse
Um die Effektivität des MGDebuggers zu bewerten, haben die Forscher umfangreiche Experimente mit verschiedenen Benchmarks durchgeführt. Die Ergebnisse zeigen, dass der MGDebugger bestehende Debugging-Systeme übertrifft und sowohl die Genauigkeit als auch die Erfolgsquote bei der Fehlerbehebung deutlich verbessert.
Verbesserte Genauigkeit und Erfolgsquote
In Tests mit HumanEval, einem Benchmark für die Codegenerierung, erzielte der MGDebugger eine Verbesserung der Genauigkeit um 18,9 % gegenüber den ursprünglichen Codegenerierungen. Darüber hinaus erreichte er eine Erfolgsquote bei der Fehlerbehebung von 97,6 % bei HumanEvalFix, einem Datensatz mit fehlerhaftem Code.
Robustheit und Effektivität
Der MGDebugger erwies sich als effektiv bei der Behebung von Fehlern verschiedener Kategorien und Schwierigkeitsgrade, was seine Robustheit und Effektivität unter Beweis stellt. Die Forscher fanden heraus, dass der Debugger in der Lage war, sowohl einfache Syntaxfehler als auch komplexere logische Fehler zu beheben.
Fazit
Der MGDebugger ist ein vielversprechender Ansatz, um die letzten Hürden bei der Codegenerierung zu überwinden. Durch die Einführung eines hierarchischen Debugging-Ansatzes und eines LLM-simulierten Python-Ausführers bietet er eine effektive Möglichkeit, Fehler auf verschiedenen Granularitätsebenen zu identifizieren und zu beheben. Die experimentellen Ergebnisse zeigen, dass der MGDebugger bestehende Debugging-Systeme übertrifft und sowohl die Genauigkeit als auch die Erfolgsquote bei der Fehlerbehebung deutlich verbessert.
Bibliographie
- Shi, Y., Wang, S., Wan, C., & Gu, X. (2024). From Code to Correctness: Closing the Last Mile of Code Generation with Hierarchical Debugging. *arXiv preprint arXiv:2410.01215*.
- Chen, X., Lin, M., Schärli, N., & Zhou, D. (2024). Teaching Large Language Models to Self-Debug. *ICLR 2024*.
- Becker, B. A., Denny, P., Finnie-Ansley, J., Luxton-Reilly, A., Prather, J., & Santos, E. A. (2023, March). Programming is Hard-Or at Least it Used to be: Educational Opportunities and Challenges of AI Code Generation. In *Proceedings of the 54th ACM Technical Symposium on Computer Science Education* (pp. 500-506).
- H. Wickham. ggplot2: Elegant Graphics for Data Analysis. Springer-Verlag New York, 2016.
- Robert C. Gentleman, Kurt Hornik, and Giovanni Parmigiani. Meta-functions for data analysis and manipulation. R News, 1(2):21–25, June 2001.
- Martin Maechler, Peter Rousseeuw, Anja Struyf, Mia Hubert, and Kurt Hornik. cluster: Cluster Analysis Basics and Extensions. R package version 2.1.4.
- A. Trapletti and K. Hornik. tseries: Time Series Analysis and Computational Finance. R package version 0.10-52.
