Fortschritte im Wörterbuchlernen für Sprachmodellinterpretierbarkeit mithilfe von Brettspielmodellen

Einführung

Die Frage, welche latenten Merkmale in den Repräsentationen von Sprachmodellen (Language Models, LMs) kodiert sind, beschäftigt die Forschung seit Jahren. Jüngste Arbeiten zu sparsamen Autoencodern (Sparse Autoencoders, SAEs) haben vielversprechende Fortschritte gezeigt, indem sie interpretierbare Merkmale in LM-Repräsentationen entwirren. Die Bewertung der Qualität dieser SAEs bleibt jedoch eine Herausforderung, da eine Sammlung von interpretierbaren Merkmalen, die als Ground-Truth dienen könnten, fehlt. Um Fortschritte im interpretierbaren Wörterbuchlernen zu messen, wird vorgeschlagen, in der Umgebung von LMs zu arbeiten, die anhand von Schach- und Othello-Protokollen trainiert wurden. Diese Umgebungen enthalten natürliche Sammlungen interpretierbarer Merkmale – zum Beispiel „ein Springer auf F3“ –, die in überwachte Metriken für die SAE-Qualität umgewandelt werden können. Um den Fortschritt im interpretierbaren Wörterbuchlernen zu lenken, wurde eine neue SAE-Trainingstechnik namens p-Annealing eingeführt, die sowohl bei bisherigen unüberwachten Metriken als auch bei neuen Metriken die Leistung verbessert.

Hintergrund

Mechanistische Interpretierbarkeit zielt darauf ab, neuronale Netzwerke in menschlich verständliche Komponenten zu zerlegen. Was jedoch diese Komponenten sein sollten, bleibt unklar. Jüngste Arbeiten haben Sparse Autoencoders (SAEs) verwendet, eine skalierbare unüberwachte Lernmethode, die von sparsamen Wörterbuchlernen inspiriert ist, um eine entwirrte Repräsentation der Interna von Sprachmodellen zu finden. Die Messung des Fortschritts beim Training von SAEs ist jedoch herausfordernd, da nicht bekannt ist, wie ein Goldstandard-Wörterbuch aussehen sollte, da es schwierig ist, vorherzusagen, welche Ground-Truth-Merkmale der Modellkognition zugrunde liegen.

Sprachmodelle für Othello und Schach

In dieser Arbeit werden LMs verwendet, die darauf trainiert sind, autoregressiv Protokolle von Schach- und Othello-Spielen vorherzusagen. Diese Protokolle enthalten nur Listen von Zügen in einer Standardnotation und offenbaren nicht direkt den Zustand des Spielbretts. Basierend auf Verhaltensbeweisen (die hohe Genauigkeit der LMs bei der Vorhersage legaler Züge) und früheren Studien zu LM-Repräsentationen wird angenommen, dass die LMs intern den Zustand des Spielbretts modellieren. Diese Annahme macht sie zu einer guten Testumgebung für das Studium von LM-Repräsentationen.

Messung der SAE-Qualität für Schach- und Othello-Modelle

Viele der von unseren SAEs gelernten Merkmale spiegeln uninteressante, oberflächliche Eigenschaften des Inputs wider, wie das Vorhandensein bestimmter Token. Bei genauerer Betrachtung finden sich jedoch auch viele SAE-Merkmale, die ein latentes Modell des Spielbrettzustands widerspiegeln, z.B. Merkmale, die das Vorhandensein bestimmter Figuren auf bestimmten Feldern, legal zu spielende Felder und strategisch relevante Eigenschaften wie das Vorhandensein einer Fessel im Schach reflektieren.

Eigenschaften des Brettzustands in Schach- und Othello-Modellen

Wir formalisieren eine Brettzustandseigenschaft (BSP) als eine Funktion, die bestimmte Klassen interessanter Merkmale des Spielbretts spezifiziert. Diese Klassen werden genutzt, um zwei Metriken zur Qualität von SAEs zu entwickeln:

- Brettrekonstruktion: Können wir den Zustand des Spielbretts rekonstruieren, indem wir jedes Merkmal als Klassifikator für eine bestimmte Brettkonfiguration interpretieren?
- Abdeckung: Aus einem Katalog von Forscher-spezifizierten Kandidat-Merkmalen, wie viele dieser Merkmale tauchen tatsächlich im SAE auf?

Diese Metriken sind zwar empfindlich gegenüber den Vorurteilen der Forscher, bieten jedoch ein nützliches neues Signal für die SAE-Qualität.

Trainingstechniken für SAEs

Wir stellen eine neue Technik namens p-Annealing für das Training von SAEs vor. Beim Training eines SAE mit p-Annealing verwenden wir eine auf dem Lp-Norm basierende Sparsitätsstrafe mit p, die von p=1 zu Beginn des Trainings (entsprechend einem konvexen Minimierungsproblem) bis zu einem p<1 (einem nicht-konvexen Ziel) am Ende des Trainings reicht. Wir zeigen, dass p-Annealing im Vergleich zu früheren Methoden die Leistung verbessert und sowohl bei alten als auch bei neuen Metriken eine mit den rechnerisch intensiveren Gated SAEs vergleichbare Leistung erzielt.

Ergebnisse

Unsere Hauptbeiträge umfassen:

- Das Training und Open-Source-Bereitstellung von über 500 SAEs, die jeweils auf Schach- und Othello-Modellen trainiert wurden.
- Die Einführung von zwei neuen Metriken zur Messung der Qualität von SAEs.
- Die Einführung von p-Annealing, einer neuen Technik für das Training von SAEs, die frühere Techniken übertrifft.

Insgesamt demonstrieren wir, dass p-Annealing und die neuen Metriken nützliche Werkzeuge sind, um die Fortschritte im Wörterbuchlernen für die Interpretierbarkeit von Sprachmodellen zu messen.

Schlussfolgerung

Diese Arbeit präsentiert einen neuartigen Ansatz zur Verbesserung der Interpretierbarkeit von Sprachmodellen, indem Wörterbuchlerntechniken im Kontext einer Brettspielumgebung genutzt werden. Die Forscher zeigen das Potenzial dieser Methode, transparentere und erklärbarere Sprachmodelle zu schaffen, mit Implikationen für eine Vielzahl von Anwendungen, bei denen die Interpretierbarkeit von Modellen entscheidend ist. Die Ergebnisse dieser Studie tragen zu den laufenden Bemühungen bei, KI-Systeme zugänglicher und verständlicher für menschliche Nutzer zu machen. Durch den Fokus auf die Interpretierbarkeit von Sprachmodellen machen die Forscher einen wichtigen Schritt zur Überbrückung der Kluft zwischen den komplexen inneren Abläufen der KI und den Bedürfnissen der Endnutzer, die auf diese Technologien angewiesen sind.

Bibliographie

https://arxiv.org/abs/2408.00113
https://openreview.net/forum?id=qzsDKwGJyB
https://arxiv.org/html/2408.00113v1
https://openreview.net/pdf/c37ab2769682ecb17a8f4c139a833f72be102d47.pdf
https://www.aimodels.fyi/papers/arxiv/measuring-progress-dictionary-learning-language-model-interpretability
https://paperreading.club/page?id=244121
https://arxiv-sanity-lite.com/?rank=pid&pid=2408.00113
https://twitter.com/Memoirs/status/1819277335016734833
https://github.com/Yangyi-Chen/Multimodal-AND-Large-Language-Models