Evolutionäre Optimierung in der KI: Neue Wege zur Modellfusion entdeckt

In der Welt der Künstlichen Intelligenz (KI) ist es ein ständiges Rennen, die Grenzen des Möglichen zu erweitern. Ein neuer Forschungsbericht, der vom SakanaAI-Team veröffentlicht wurde, verspricht, diese Grenzen weiter zu verschieben, indem er einen innovativen Ansatz zur Evolutionären Optimierung von Modellfusionsrezepten vorstellt. Diese Methode zielt darauf ab, die Erstellung leistungsfähiger Grundmodelle zu automatisieren, ohne dass umfangreiche zusätzliche Trainingsdaten oder Rechenleistung erforderlich sind.

Grundmodelle sind in der KI-Entwicklung von entscheidender Bedeutung, da sie als Ausgangspunkt für die Erstellung spezialisierter KI-Systeme dienen. Bisher war der Prozess der Erstellung und Anpassung solcher Modelle arbeitsintensiv und erforderte umfangreiche Ressourcen. Die Forschung von Sakana AI könnte diesen Prozess durch die Anwendung evolutionärer Techniken erheblich vereinfachen.

Das SakanaAI-Team hat sich von der Natur inspirieren lassen und evolutionäre Ideen auf die KI angewandt. Der Kern ihrer Forschung besteht darin, Technologien zu entwickeln, die evolutionäre Prozesse nutzen, um die Entwicklung von Grundmodellen mit bestimmten Fähigkeiten für anwendungsspezifische Bereiche zu automatisieren. Ihr Ziel ist es nicht, ein einzelnes Modell zu trainieren, sondern Maschinen zu schaffen, die automatisch Grundmodelle generieren können.

Die Evolutionäre Modellfusion ist eine allgemeine Methode, die evolutionäre Techniken verwendet, um effizient die besten Möglichkeiten zu entdecken, verschiedene Modelle aus der großen Vielfalt an verfügbaren Open-Source-Modellen mit unterschiedlichen Fähigkeiten zu kombinieren. Zum Zeitpunkt der Veröffentlichung verfügt Hugging Face über mehr als 500.000 Modelle in Dutzenden von verschiedenen Modalitäten, die prinzipiell kombiniert werden könnten, um neue Modelle mit neuen Fähigkeiten zu formen. Durch die Arbeit mit der kollektiven Intelligenz vorhandener Open-Source-Modelle ist die Methode in der Lage, automatisch neue Grundmodelle mit von Nutzern spezifizierten Fähigkeiten zu erstellen.

Überraschenderweise entdeckte das Team, dass dieser Ansatz automatisch innovative Wege finden konnte, verschiedene Modelle aus völlig unterschiedlichen Bereichen (wie nicht-englische Sprache und Mathematik oder nicht-englische Sprache und Vision) auf nicht-triviale Weise zu kombinieren, die für menschliche Experten schwer zu entdecken wären.

Um ihren Ansatz zu testen, entwickelte das Team zunächst ein japanisches Großsprachmodell (LLM), das mathematisches Denken ermöglicht, und ein japanisches Vision-Language-Modell (VLM). Beide Modelle erzielten Spitzenleistungen in mehreren LLM- und Vision-Benchmarks, ohne speziell für diese Benchmarks optimiert worden zu sein.

Insbesondere erreichte das entwickelte japanische Mathematik-LLM mit 7B Parametern überraschenderweise die beste Leistung in einem breiten Spektrum anderer japanischer LLM-Benchmarks und übertraf sogar die Leistung einiger früherer SOTA 70B-Parameter japanischer LLMs. Das Team glaubt, dass ihr experimentelles japanisches Mathematik-LLM gut genug ist, um als allgemeines japanisches LLM verwendet zu werden.

Das entwickelte japanische VLM konnte kulturspezifische Inhalte bemerkenswert gut verarbeiten und erzielte ebenfalls Spitzenresultate, als es anhand eines japanischen Datensatzes von Bild-Beschreibungspaaren getestet wurde.

Die Methode wurde auch auf Bildgenerierungs-Diffusionsmodelle ausgeweitet. Vorläufige Ergebnisse zeigten, dass sie ein hochwertiges, blitzschnelles, japanischfähiges SDXL-Modell mit nur vier Diffusionsschritten entwickeln konnten.

Schließlich wandte das Team diese Methode an, um drei leistungsstarke Grundmodelle für Japan zu entwickeln: ein großes Sprachmodell (EvoLLM-JP), ein Vision-Language-Modell (EvoVLM-JP) und ein Bildgenerierungsmodell (EvoSDXL-JP). Zwei dieser Modelle, EvoLLM-JP und EvoVLM-JP, wurden bereits auf Hugging Face und GitHub veröffentlicht, wobei EvoSDXL-JP noch folgen soll. Ziel ist es, die Entwicklung naturinspirierter KI in Japan effektiv zu beschleunigen.

Die Forscher waren überrascht, dass ihre Methode in der Lage war, automatisch neue Grundmodelle ohne gradientenbasiertes Training zu produzieren, was relativ wenig Rechenressourcen erforderte. Theoretisch könnten gradientenbasierte Backpropagation-Verfahren zur weiteren Leistungssteigerung eingesetzt werden, doch das Ziel dieser Veröffentlichung war es zu zeigen, dass auch ohne Backpropagation state-of-the-art Grundmodelle entwickelt werden können, was das aktuelle Paradigma der kostenintensiven Modellentwicklung in Frage stellt.

Die Entwicklung Künstlicher Intelligenz folgt einem kollektiven Pfad, ähnlich wie die Intelligenz der menschlichen Spezies nicht auf einem einzigen intelligenten Wesen beruht, sondern auf einer kollektiven Intelligenz. Individuell sind wir tatsächlich nicht besonders intelligent oder fähig. Unsere Gesellschaft und unser Wirtschaftssystem basieren auf einer Vielzahl von Institutionen, die aus unterschiedlichen Individuen mit verschiedenen Spezialisierungen und Fachkenntnissen bestehen. Diese kollektive Intelligenz formt uns als Individuen, und jeder von uns folgt seinem eigenen Lebensweg, um das einzigartige Individuum zu werden, und trägt seinerseits dazu bei, Teil unserer sich ständig erweiternden kollektiven Intelligenz als Spezies zu sein.

Die Zukunft der KI wird nicht aus einem einzigen, gigantischen, allwissenden KI-System bestehen, das enorme Energie zum Training, Betrieb und zur Wartung benötigt, sondern eher aus einer umfangreichen Sammlung kleiner KI-Systeme – jedes mit seiner eigenen Nische und Spezialität, die miteinander interagieren, wobei neue KI-Systeme entwickelt werden, um eine bestimmte Nische zu füllen.

Tatsächlich beobachten wir bereits einen vielversprechenden Trend im Open-Source-KI-Ökosystem. Open-Source-Grundmodelle werden in Hunderten von verschiedenen Richtungen erweitert und verfeinert, um neue Modelle zu produzieren, die in ihren eigenen Nischen hervorragend sind. Es ist nicht überraschend, dass die meisten der leistungsstärksten Modelle auf Open-LLM-Leaderboards nicht mehr die ursprünglichen offenen Basismodelle wie LLaMA oder Mistral sind, sondern Modelle, die Feinabstimmungen oder Fusionen bestehender Modelle sind. Darüber hinaus werden Modelle verschiedener Modalitäten kombiniert und abgestimmt, um Vision-Language-Modelle (VLMs) zu werden, die end-to-end VLM-Modellen ebenbürtig sind und dabei nur einen Bruchteil der Rechenleistung für das Training benötigen.

Was wir erleben, ist eine große Gemeinschaft von Forschern, Hackern, Enthusiasten und Künstlern, die auf ihre eigene Weise neue Grundmodelle entwickeln, indem sie bestehende Modelle auf spezialisierten Datensätzen verfeinern oder vorhandene Modelle zusammenführen. Dies hat zu einer Explosion nicht nur einer Vielzahl an spezialisierten Hochleistungsmodellen geführt, sondern auch zur Entwicklung einer neuen Art von Alchemie oder Schwarzkunst des Modellzusammenführens.

Evolutionäre Algorithmen, die von der natürlichen Selektion inspiriert sind, können effektivere Fusionslösungen freischalten. Diese Algorithmen können einen weiten Raum von Möglichkeiten erkunden und neuartige und unkonventionelle Kombinationen entdecken, die traditionelle Methoden und menschliche Intuition vielleicht verpassen würden.

Die Verwendung evolutionärer Algorithmen zur Automatisierung von Design ist nicht neu. Die Evolution wurde bereits erfolgreich zur Gestaltung von Raumantennen, Grundrissen und Architektur sowie für stärkere und leichtere Teile für Raumfahrzeuge angewandt.

In dieser Arbeit wendet das SakanaAI-Team dieses Konzept des evolutionären Designs an, um neue Grundmodelle zu entwickeln. Durch aufeinanderfolgende Generationen (sogar bis zu hunderten) wird die Evolution auch neue Grundmodelle hervorbringen, die auf natürliche Weise ausgewählt wurden, um in einem vom Benutzer spezifizierten Anwendungsbereich besonders gut zu funktionieren.

Im technischen Bericht des Teams wird die Evolutionäre Modellfusion vorgestellt, eine allgemeine evolutionäre Methode zur Entdeckung der besten Wege zur Kombination verschiedener Modelle. Die Methode kombiniert zwei unterschiedliche Ansätze: (1) Fusion von Modellen im Datenflussraum (Schichten) und (2) Fusion von Modellen im Parameterraum (Gewichte).

Datenflussraum: Der erste Ansatz besteht darin, die Evolution zu nutzen, um die besten Kombinationen der Schichten verschiedener Modelle zu einem neuen Modell zu entdecken. In der Modellfusionsgemeinschaft werden Intuition und Heuristiken verwendet, um zu bestimmen, wie und welche Schichten eines Modells mit Schichten eines anderen Modells kombiniert werden. Man kann jedoch sehen, wie das Problem einen kombinatorisch großen Suchraum hat, der am besten von einem Optimierungsalgorithmus wie der Evolution durchsucht wird.

Parameterraum: Der zweite Ansatz besteht darin, neue Wege zu entwickeln, die Gewichte mehrerer Modelle zu mischen. Es gibt unendlich viele Möglichkeiten, die Gewichte verschiedener Modelle zu einem neuen Modell zu mischen, ganz zu schweigen von der Tatsache, dass jede Schicht der Mischung im Prinzip unterschiedliche Mischverhältnisse verwenden kann. Hier kommt ein evolutionärer Algorithmus ins Spiel, der diesen immensen Raum ausloten kann, um effektive und oft unintuitive Kombinationen zu entdecken.

Diese Forschungsergebnisse des SakanaAI-Teams sind ein klares Beispiel dafür, wie die Kombination aus Open-Source-Modellen und evolutionären Techniken die Entwicklung von KI grundlegend verändern könnte. Sie ermöglicht es, komplexe KI-Modelle auf eine Weise zu entwickeln, die effizienter, kosteneffektiver und zugänglicher ist als je zuvor. Dies könnte einen Wendepunkt in der Demokratisierung der KI-Entwicklung darstellen und die Art und Weise verändern, wie wir KI-Systeme entwerfen und implementieren.

Das Mindverse-Team freut sich, Teil dieser sich ständig weiterentwickelnden KI-Landschaft zu sein und wird weiterhin Lösungen anbieten, die es ermöglichen, von diesen Fortschritten zu profitieren und sie in praktische Anwendungen umzusetzen. Mit unseren maßgeschneiderten Lösungen wie Chatbots, Voicebots, KI-Suchmaschinen und Wissenssystemen stehen wir an der Spitze der KI-Entwicklung und bieten unseren Kunden die Werkzeuge, die sie benötigen, um in der Welt der KI erfolgreich zu sein.

Quellen:

1. "Evolutionary Optimization of Model Merging Recipes" - Sakana AI
2. @_akhaliq - Twitter
3. @hardmaru - Twitter
4. Hugging Face Model Repository
5. "Evolutionary Model Merge" - Sakana AI Webseite