Erweiterung automatisierter Beweisverfahren durch symbolische Mutation
Die Erweiterung der Fähigkeiten des automatischen Beweisens durch symbolische Mutation
In der Welt der Mathematik und Informatik ist das Beweisen von Theoremen ein komplexer und herausfordernder Prozess. Selbst für erfahrene Experten kann es zeitaufwendig und fehleranfällig sein, formale Beweise zu erstellen. Die jüngsten Fortschritte im Bereich des neuronalen Beweisens (NTP) haben jedoch vielversprechend gezeigt, dass dieser Prozess beschleunigt werden kann.
NTP-Modelle basieren auf künstlicher Intelligenz (KI) und maschinellem Lernen und zielen darauf ab, mathematische Theoreme automatisch zu beweisen. Diese Modelle werden mit großen Datensätzen formaler Beweise trainiert und lernen, Muster und Regeln in mathematischen Argumenten zu erkennen. Trotz vielversprechender Ergebnisse stehen NTP-Modelle vor einer Herausforderung: der Datenknappheit. Im Vergleich zu allgemeinen Textdaten sind die verfügbaren formalen Korpora im Internet begrenzt.
Alchemy: Ein neuer Ansatz zur Datenaugmentation
Um diese Herausforderung zu bewältigen, haben Forscher ein neues Framework namens "Alchemy" entwickelt. Alchemy ist ein allgemeiner Ansatz zur Datensynthese, der formale Theoreme durch symbolische Mutation konstruiert. Das bedeutet, dass Alchemy bestehende Theoreme nutzt, um neue, gültige Theoreme zu generieren.
Der Prozess beginnt mit der Identifizierung aller anwendbaren Theoreme, die zum Umschreiben oder Anwenden auf ein gegebenes Kandidatentheorem verwendet werden können. Anschließend mutiert Alchemy das Kandidatentheorem, indem der entsprechende Term in der Aussage durch seine äquivalente Form oder Antezedens ersetzt wird. Dieser Prozess kann wiederholt werden, um eine große Anzahl neuer Theoreme zu generieren.
Verbesserung der Leistung von Theorembeweisern
Alchemy wurde verwendet, um die Anzahl der Theoreme in Mathlib, einer Bibliothek für formale Beweise, deutlich zu erhöhen. Durch die Anwendung von Alchemy konnte die Anzahl der Theoreme in Mathlib um eine Größenordnung von 110.000 auf 6 Millionen erhöht werden.
Um die Leistung von Theorembeweisern zu verbessern, wurden große Sprachmodelle (LLMs) mit diesem erweiterten Korpus trainiert. Die Ergebnisse zeigten eine deutliche Verbesserung der Leistung. Beispielsweise wurde beim Leandojo-Benchmark eine absolute Leistungsverbesserung von 5 % erzielt. Darüber hinaus wurde beim Out-of-Distribution-Benchmark miniF2F eine absolute Leistungsverbesserung von 2,5 % erreicht.
Schlussfolgerung
Alchemy bietet einen vielversprechenden Ansatz zur Bewältigung der Datenknappheit im Bereich des neuronalen Beweisens. Durch die Generierung synthetischer Daten kann Alchemy die Leistung von Theorembeweisern verbessern und den Weg für Fortschritte in der automatisierten mathematischen Argumentation ebnen.
Die Forschungsergebnisse zu Alchemy und seiner Anwendung im neuronalen Beweisen wurden in einem wissenschaftlichen Artikel veröffentlicht, der auf arXiv verfügbar ist.
