Die Praxis der Kontexterweiterung großer Sprachmodelle mit typisierten Lücken

Große Sprachmodelle (Large Language Models, LLMs) haben die Landschaft der Programmsynthese grundlegend verändert. Diese Modelle, die auf riesigen Mengen von Text- und Programmdaten trainiert wurden, sind in der Lage, Codefragmente zu vervollständigen und sogar ganze Programme zu erstellen. Trotz dieser beeindruckenden Fähigkeiten stehen LLMs jedoch vor erheblichen Herausforderungen, insbesondere wenn es um die Kontextualisierung von Code geht, der nicht in den Trainingsdaten enthalten ist oder sich nicht in der Nähe des Cursors befindet. Diese Problematik wird in dem kürzlich veröffentlichten Papier "Statically Contextualizing Large Language Models with Typed Holes" detailliert untersucht.

Die Herausforderung der fehlenden Kontexte

Ein häufiges Problem bei der Verwendung von LLMs zur Codevervollständigung ist das sogenannte "Halluzinieren" von fehlerhaftem Code. Dies geschieht oft, weil das Modell nicht über den notwendigen Kontext verfügt, um korrekte und sinnvolle Codestücke zu generieren. Insbesondere bei der Arbeit mit Definitionen, die weder in den Trainingsdaten noch in unmittelbarer Nähe des Cursors vorhanden sind, treten diese Probleme auf. Dies führt dazu, dass die generierten Codefragmente oft unvollständig oder fehlerhaft sind.

Integration von LLMs in Entwicklungsumgebungen

Um dieses Problem zu lösen, schlagen die Autoren des Papiers eine enge Integration von LLMs mit der Typ- und Bindungsstruktur einer Programmiersprache vor, wie sie von einem Sprachserver bereitgestellt wird. Dieser Ansatz ermöglicht es, den Kontext effizient und präzise zu erweitern, indem relevante Typen und Funktionen aus dem gesamten Codebestand abgerufen werden. In der Praxis bedeutet dies, dass auch Definitionen, die sich nicht in der Nähe des Cursors befinden oder in einer anderen Datei liegen, in die Codevervollständigung einbezogen werden können.

Das Hazel-Projekt

Ein konkretes Beispiel für diese Integration ist das Hazel-Projekt. Hazel ist eine akademische funktionale Programmiersprache, die besonders gut für die Kontextualisierung von LLM-basierten Codevervollständigungen geeignet ist. Der Hazel-Sprachserver kann den Typ und den Kontext der zu füllenden Lücke identifizieren und sicherstellen, dass immer ein bedeutungsvoller Programmsketch verfügbar ist. Dies ermöglicht es, den LLM mit kontextuellen Informationen aus dem gesamten Codebestand zu unterstützen, die nicht unbedingt in der Nähe des Cursors oder in derselben Datei vorhanden sind, aber für das Ziel des Entwicklers semantisch relevant sind.

MVUBench: Eine Herausforderung für LLMs

Um die Wirksamkeit dieser Techniken zu bewerten, haben die Autoren MVUBench eingeführt, ein Datensatz von Model-View-Update (MVU) Webanwendungen. Diese Anwendungen stellen eine besondere Herausforderung dar, da sie stark von anwendungsspezifischen Datenstrukturen abhängen. Der Datensatz wurde von Grund auf neu erstellt, um Datenkontamination zu vermeiden, und kann leicht auf neue Sprachen portiert werden, da er keine großen externen Bibliotheksabhängigkeiten hat.

Erweiterung auf TypeScript

Nachdem die Techniken in Hazel erfolgreich angewendet wurden, haben die Autoren ihre Methoden auf TypeScript portiert, um die Anwendbarkeit dieser Methoden auf ressourcenstärkere Sprachen zu validieren. Diese Validierung zeigte, dass die statische Kontextualisierung in der Lage ist, präzisere und robustere Ergebnisse zu liefern als herkömmliche Ansätze, die auf der vektorbasierten Suche basieren.

ChatLSP: Eine Erweiterung des Language Server Protocols

Ein weiterer wichtiger Beitrag des Papiers ist die Vorstellung von ChatLSP, einer konservativen Erweiterung des Language Server Protocols (LSP). Diese Erweiterung ermöglicht es Sprachservern, Fähigkeiten bereitzustellen, die von verschiedenen Designansätzen für AI-Codevervollständigungssysteme genutzt werden können, um statischen Kontext in die Generierung von Eingabeaufforderungen für ein LLM einzubeziehen. Dies könnte die Bereitstellung sprachspezifischer semantischer Kontextualisierung in einer breiteren Palette von Mainstream-Sprachen vereinfachen.

Fazit

Die Forschung in diesem Bereich zeigt deutlich, dass die Integration von LLMs in Entwicklungsumgebungen und die Nutzung der typisierten Struktur von Programmiersprachen ein vielversprechender Ansatz ist, um die Qualität und Genauigkeit von Codevervollständigungen zu verbessern. Projekte wie Hazel und MVUBench sowie die vorgeschlagene ChatLSP-Erweiterung bilden wichtige Schritte in diese Richtung. Es bleibt abzuwarten, wie sich diese Ansätze in der Praxis bewähren und welche weiteren Entwicklungen in diesem spannenden Forschungsbereich zu erwarten sind.

Bibliografie: - https://arxiv.org/abs/2409.00921 - https://arxiv.org/html/2409.00921v1 - https://deeplearn.org/arxiv/524607/statically-contextualizing-large-language-models-with-typed-holes - https://nzjohng.github.io/publications/papers/tosem2024_5.pdf - https://paperreading.club/page?id=249336 - https://www.pedocs.de/volltexte/2024/29036/pdf/Huebsch_et_al_2024_Articulating_tomorrow.pdf - https://2024.splashcon.org/people-index - https://www.researchgate.net/publication/362967976_What_do_they_capture_a_structural_analysis_of_pre-trained_language_models_for_source_code - https://cfg.mit.edu/assets/files/llms_for_cdam.pdf - https://www.researchgate.net/publication/376537995_Prompting_Large_Language_Models_for_Malicious_Webpage_Detection