Wechselwirkungen zwischen Backbone-Architektur und Optimierungsalgorithmen im visuellen Repräsentationslernen

In der sich rasant entwickelnden Welt der künstlichen Intelligenz (KI) ist das visuelle Repräsentationslernen ein Eckpfeiler für Fortschritte in Bereichen wie Computer Vision, Bildverarbeitung und Robotik. Dabei werden tiefe neuronale Netze eingesetzt, um Bilder in mathematische Repräsentationen umzuwandeln, die von Computern verarbeitet werden können. Ein Forschungsschwerpunkt liegt auf der Beziehung zwischen der Architektur dieser neuronalen Netze, den sogenannten Backbones, und den Optimierungsalgorithmen, die für deren Training verwendet werden. Eine neue Forschungsarbeit beleuchtet nun eine bisher wenig beachtete Wechselwirkung zwischen diesen beiden Komponenten, die als "Backbone-Optimizer Coupling Bias" (BOCB) bezeichnet wird. Traditionell wurden neuronale Netze mit Gradientenabstiegsverfahren trainiert, insbesondere dem stochastischen Gradientenabstieg (SGD). In den letzten Jahren haben jedoch adaptive Lernratenmethoden wie Adam an Popularität gewonnen, da sie oft eine schnellere Konvergenz während des Trainings ermöglichen. Die vorliegende Arbeit zeigt jedoch, dass die Wahl des Optimierungsalgorithmus nicht unabhängig von der Architektur des neuronalen Netzes getroffen werden sollte. Stattdessen gibt es eine starke Kopplung zwischen Backbone und Optimierer, die die Leistung des Modells sowohl während des Trainings als auch bei der Anwendung auf neue Daten beeinflussen kann. Die Studie untersucht diese Kopplung anhand von zwei gängigen Architekturen für neuronale Netze: Convolutional Neural Networks (CNNs) und Vision Transformers (ViTs). CNNs, wie VGG und ResNet, haben sich in der Bildverarbeitung bewährt und werden häufig mit SGD-basierten Optimierern trainiert. ViTs hingegen, die auf der Transformer-Architektur basieren, haben in letzter Zeit beeindruckende Ergebnisse erzielt und werden oft mit adaptiven Lernratenmethoden trainiert. Die Forscher fanden heraus, dass CNNs in der Tat eine starke Abhängigkeit von SGD-Familien aufweisen, während ViTs und neuere Architekturen wie ConvNeXt eng mit adaptiven Lernratenmethoden gekoppelt sind. Diese Kopplung zeigt sich in der Leistung der Modelle: Werden CNNs mit adaptiven Lernratenmethoden trainiert oder ViTs mit SGD, so ist die Leistung deutlich schlechter als bei der Verwendung der "gewohnten" Kombination. Die Studie zeigt weiter, dass BOCB sowohl durch die Optimierer selbst als auch durch bestimmte Designentscheidungen in der Backbone-Architektur verursacht werden kann. Dies deutet darauf hin, dass die Wahl des Optimierers nicht isoliert betrachtet werden sollte, sondern als integraler Bestandteil des Modelldesigns. Die Erkenntnisse dieser Arbeit haben weitreichende Bedeutung für das visuelle Repräsentationslernen. Sie unterstreichen die Notwendigkeit, die Wahl des Optimierungsalgorithmus sorgfältig zu überdenken und an die jeweilige Architektur des neuronalen Netzes anzupassen. Die Forscher hoffen, dass diese Arbeit die Community dazu anregt, bisherige Annahmen über Backbones und Optimierer zu hinterfragen und neue Wege zu beschreiten, um robustere und leistungsfähigere Modelle für die Bildverarbeitung zu entwickeln. Quellenverzeichnis: - Siyuan Li, Juanxi Tian, Zedong Wang, Luyuan Zhang, Zicheng Liu, Weiyang Jin, Yang Liu, Baigui Sun, Stan Z. Li. Unveiling the Backbone-Optimizer Coupling Bias in Visual Representation Learning. *arXiv preprint arXiv:2410.06373*, 2024. - Haiwen Diao, Yufeng Cui, Xiaotong Li, Yueze Wang, Huchuan Lu, Xinlong Wang. Unveiling Encoder-Free Vision-Language Models. *arXiv preprint arXiv:2406.11832v1*, 2024. - *Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)*, 2024. - *International Conference on Learning Representations (ICLR)*, 2024. - *IEEE International Conference on Systems, Man, and Cybernetics (SMC)*, 2024. - *Proceedings of the 62nd Annual Meeting of the Association for Computational Linguistics*, 2024.