Feintuning von Diffusionsmodellen: Neue Entwicklungen in der Text-zu-Bild-Generierung

In der Welt der generativen künstlichen Intelligenz (KI) hat das Feintuning von Diffusionsmodellen für die Text-zu-Bild-Generierung eine wichtige Entwicklungsstufe erreicht. Die Fähigkeit, realistische Bilder aus Textbeschreibungen zu erzeugen, hat nicht nur im Bereich der digitalen Kunst und des Designs enorme Auswirkungen, sondern wirft auch Fragen im Zusammenhang mit Urheberrecht, ethischen Überlegungen und der Vermeidung von Verzerrungen auf.

Diffusionsmodelle, die derzeit als Spitzenreiter im Bereich der generativen KI für Bildinhalte gelten, arbeiten nach einem Prinzip, das auf den ersten Blick kontraintuitiv erscheint: Sie fügen den vorhandenen Trainingsdaten Rauschen hinzu und lernen dann, diesen Prozess umzukehren. Dieser umgekehrte Vorgang kann dann auf neue zufällige Daten angewendet werden, um neue Ausgaben zu erzeugen.

Die Feinabstimmung dieser Modelle ist entscheidend, um die Qualität der erzeugten Bilder zu verbessern und sicherzustellen, dass die Ergebnisse den Texteingaben besser entsprechen. Während die Feinabstimmung großer Sprachmodelle (Large Language Models, LLMs) bemerkenswerte Fortschritte gemacht hat, bleibt das Feintuning von Diffusionsmodellen eine relativ unerforschte Grenze.

Ein innovativer Ansatz, der in der Forschungsgemeinschaft Aufmerksamkeit erregt hat, ist das sogenannte Self-Play Fine-Tuning für Diffusionsmodelle (SPIN-Diffusion). Bei dieser Methode tritt das Diffusionsmodell in einen Wettbewerb mit seinen früheren Versionen, was einen iterativen Selbstverbesserungsprozess ermöglicht. Diese Technik bietet eine Alternative zu herkömmlichen Supervised Fine-Tuning- und Reinforcement Learning (RL)-Strategien und verbessert sowohl die Leistung als auch die Ausrichtung des Modells signifikant.

Experimente mit dem Pick-a-Pic-Datensatz haben gezeigt, dass SPIN-Diffusion die bestehende überwachte Feinabstimmungsmethode in Bezug auf die Ausrichtung an menschlichen Präferenzen und visueller Attraktivität bereits in der ersten Iteration übertrifft. Bereits in der zweiten Iteration übertrifft es die Leistung von RLHF-basierten Methoden in allen Metriken und erreicht diese Ergebnisse mit weniger Daten.

Ein weiterer Bereich, der in jüngster Zeit an Bedeutung gewonnen hat, ist die Frage der Fairness und der Vermeidung von Bias in den generierten Bildern. Da Text-zu-Bild-Diffusionsmodelle zunehmend in der Gesellschaft eingesetzt werden, ist es dringend erforderlich, ihre Verzerrungen anzugehen, die sonst eine verzerrte Weltsicht verbreiten und Minderheiten benachteiligen könnten.

Eine flexible und skalierbare überwachte Feinabstimmungsmethode wurde eingeführt, um die von einem Text-zu-Bild-Diffusionsmodell generierten Bilder mit einer fairen Verteilung in Einklang zu bringen. Durch End-to-End-Feinabstimmung der Diffusionsmodelle mit einem Verlust der Verteilungsausrichtung konnte die Verzerrung von Geschlecht, Rasse und deren Schnittmengen für berufsbezogene Aufforderungen deutlich reduziert werden. Auch die Möglichkeit, gleichzeitig mehrere Konzepte wie Berufe, Sportarten und persönliche Beschreibungen zu entzerren, indem diese Aufforderungen in die Feinabstimmungsdaten einbezogen wurden, zeigt die Skalierbarkeit der Methode.

Darüber hinaus wurde ein neuartiger Ansatz zur Modellfingerprinting vorgestellt, der darauf abzielt, die Verantwortung für die erzeugten Bilder zuzuweisen und somit als potenzielle Gegenmaßnahme gegen den Missbrauch von Modellen zu dienen. Diese Methode modifiziert generative Modelle basierend auf dem einzigartigen digitalen Fingerabdruck jedes Benutzers und prägt einen eindeutigen Identifikator auf die resultierenden Inhalte auf, der auf den Benutzer zurückverfolgt werden kann.

Die Kombination dieser Methoden zeigt nicht nur das Potenzial für eine verantwortungsbewusste Verteilung und Nutzung von Modellen, sondern betont auch die Notwendigkeit einer ständigen Überprüfung und Anpassung generativer KI-Systeme, um Fairness, Genauigkeit und gesellschaftliche Verantwortung zu gewährleisten.

Die Forschung in diesem Bereich ist lebhaft und entwickelt sich schnell weiter, wobei neue Erweiterungen und Verbindungen entdeckt werden. Es ist zu erwarten, dass Diffusionsmodelle weiterhin eine Schlüsselrolle in der generativen KI spielen werden, und die Feinabstimmung dieser Modelle wird für die Qualität und Verantwortlichkeit der generierten Inhalte von zentraler Bedeutung sein.

Quellen:
1. https://arxiv.org/abs/2303.07909
2. https://twitter.com/_akhaliq/status/1683678703048613888
3. https://openreview.net/forum?id=hnrB5YHoYu
4. https://arxiv.org/html/2312.14977v1