Neuronale ArchitektursSuche (NAS) hat in den letzten Jahren große Aufmerksamkeit im Bereich der künstlichen Intelligenz (KI) erlangt. NAS ermöglicht die automatisierte Entwicklung von neuronalen Netzwerkarchitekturen, die speziell auf bestimmte Aufgaben zugeschnitten sind und dadurch eine höhere Leistung erzielen als manuell entworfene Architekturen. Trotz ihrer Überlegenheit wird NAS für ihren enormen Rechenbedarf kritisiert, was den Einsatz von NAS in der Praxis oft einschränkt.
Zero-Shot NAS und die Herausforderung der Zero-Cost Proxies
Um den Rechenaufwand von NAS zu reduzieren, hat sich Zero-Shot NAS als vielversprechender Ansatz herauskristallisiert. Zero-Shot NAS nutzt sogenannte Zero-Cost (ZC) Proxies, um die Leistung von Netzwerkarchitekturen abzuschätzen, ohne sie tatsächlich trainieren zu müssen. ZC Proxies basieren auf der Analyse von Eigenschaften neuronaler Netze, die bereits vor dem Training berechnet werden können, wie z.B. die Anzahl der Parameter oder die Aktivierungen bestimmter Schichten.
Obwohl ZC Proxies den Rechenaufwand erheblich reduzieren, sind sie mit eigenen Herausforderungen verbunden. Bestehende ZC Proxies basieren oft auf Expertenwissen und erfordern umfangreiche Trial-and-Error-Experimente, um effektive Proxies für spezifische Aufgaben zu finden. Insbesondere bei NLP-Aufgaben (Natural Language Processing) schneiden viele ZC Proxies nicht besser ab als einfache Basislinien, wie z.B. die Anzahl der Parameter eines Modells.
LPZero: Ein neuer Ansatz zur automatischen Generierung von Zero-Cost Proxies
Um diese Herausforderungen zu adressieren, wurde LPZero entwickelt, ein neuartiges Framework zur automatischen Generierung von ZC Proxies für verschiedene NLP-Aufgaben. LPZero ist das erste Framework, das automatisch ZC Proxies generiert und dabei eine höhere Rangübereinstimmung erreicht als von Experten entworfene Proxies.
Im Kern modelliert LPZero ZC Proxies als symbolische Gleichungen und verwendet einen einheitlichen Suchraum, der bereits bestehende ZC Proxies umfasst. Dieser Suchraum besteht aus einer vordefinierten Menge mathematischer Symbole, die die Bausteine für die Generierung neuer Proxies bilden.
Um den optimalen ZC Proxy innerhalb dieses Suchraums zu finden, nutzt LPZero genetische Programmierung. Genetische Programmierung ist ein heuristischer Suchalgorithmus, der sich an den Prinzipien der natürlichen Evolution orientiert. Dabei werden mehrere Generationen von ZC Proxies generiert, wobei die besten Proxies jeder Generation ausgewählt und durch Mutation und Kreuzung weiterentwickelt werden.
Um die Effizienz der Suche zu verbessern, verwendet LPZero eine regelbasierte Pruning-Strategie (RPS). RPS eliminiert frühzeitig Proxies, die sich als wenig vielversprechend erweisen, und reduziert so das Risiko, dass die Suche in suboptimalen Bereichen des Suchraums stecken bleibt.
Experimentelle Ergebnisse und Ausblick
Um die Leistungsfähigkeit von LPZero zu evaluieren, wurden umfangreiche Experimente mit verschiedenen Sprachmodellen wie FlexiBERT, GPT-2 und LLaMA-7B durchgeführt. Die Ergebnisse zeigen, dass LPZero in der Lage ist, ZC Proxies zu generieren, die eine höhere Rangkorrelation mit der tatsächlichen Modellleistung aufweisen als bestehende, manuell entworfene Proxies.
LPZero stellt einen wichtigen Schritt in Richtung einer effizienteren und zugänglicheren neuronalen ArchitektursSuche dar. Die automatische Generierung von ZC Proxies ermöglicht es, den Rechenaufwand von NAS deutlich zu reduzieren und gleichzeitig die Qualität der generierten Architekturen zu verbessern. Zukünftige Forschung könnte sich darauf konzentrieren, den Suchraum von LPZero zu erweitern und die RPS weiter zu optimieren, um noch leistungsfähigere ZC Proxies zu generieren.
Bibliographie
http://arxiv.org/abs/2410.04808
https://openreview.net/forum?id=T4IndEbKwhw
https://openreview.net/pdf/5c10e1242e91e4d8d95ca76f729be179efdda3cf.pdf
https://arxiv.org/html/2410.04808v1
https://bytez.com/docs/arxiv/2410.04808/paper
https://paperreading.club/page?id=257316
https://iclr-blog-track.github.io/2022/03/25/zero-cost-proxies/
https://2024.emnlp.org/program/accepted_findings/
https://www.researchgate.net/publication/352397354_Zero-Cost_Proxies_Meet_Differentiable_Architecture_Search
https://blackjack2015.github.io/
