Effiziente Bildgenerierung mit rectifizierten Diffusionsmodellen

Diffusionsmodelle haben die visuelle Generierung erheblich verbessert, werden jedoch aufgrund der rechenintensiven Natur der Lösung generativer ODEs durch langsame Generierungsgeschwindigkeiten behindert. Rectified Flow, eine weithin anerkannte Lösung, verbessert die Generierungsgeschwindigkeit, indem der ODE-Pfad begradigt wird. Zu seinen Schlüsselkomponenten gehören: 1) Verwendung der Diffusionsform des Flow-Matching, 2) Einsatz von \boldsymbolf -Vorhersage und 3) Durchführung einer Rektifikation (a.k.a. Reflow). In diesem Artikel argumentieren wir, dass der Erfolg der Rektifikation in erster Linie in der Verwendung eines vortrainierten Diffusionsmodells liegt, um übereinstimmende Paare von Rauschen und Samples zu erhalten, gefolgt von einem erneuten Training mit diesen übereinstimmenden Rausch-Sample-Paaren. Auf dieser Grundlage sind die Komponenten 1) und 2) überflüssig. Darüber hinaus heben wir hervor, dass Geradheit kein wesentliches Trainingsziel für die Rektifikation ist, sondern ein Sonderfall von Flow-Matching-Modellen. Das wichtigere Trainingsziel ist es, einen ODE-Pfad in erster Näherung zu erreichen, der für Modelle wie DDPM und Sub-VP von Natur aus gekrümmt ist. Aufbauend auf dieser Erkenntnis schlagen wir Rectified Diffusion vor, das den Designraum und den Anwendungsbereich der Rektifikation verallgemeinert, um die breitere Kategorie der Diffusionsmodelle zu erfassen, anstatt auf Flow-Matching-Modelle beschränkt zu sein. Wir validieren unsere Methode an Stable Diffusion v1-5 und Stable Diffusion XL. Unsere Methode vereinfacht nicht nur das Trainingsverfahren von früheren Arbeiten, die auf rektifiziertem Fluss basieren (z. B. InstaFlow), erheblich, sondern erzielt auch eine überlegene Leistung bei noch geringeren Trainingskosten. Unser Code ist verfügbar unter https://github.com/G-U-N/Rectified-Diffusion. ## Die Herausforderungen der Bildgenerierung mit Diffusionsmodellen Diffusionsmodelle haben sich als leistungsstarke Werkzeuge für die Bildgenerierung erwiesen, doch ihre praktische Anwendung wird durch ihre Langsamkeit oft behindert. Die Generierung hochwertiger Bilder erfordert die Lösung komplexer Differentialgleichungen (ODEs), ein Prozess, der viele Rechenschritte und somit viel Zeit erfordert. ## Rectified Flow: Ein Schritt in Richtung schnellere Generierung Ein vielversprechender Ansatz zur Beschleunigung der Bildgenerierung ist der "Rectified Flow". Diese Methode versucht, die ODEs so zu vereinfachen, dass sie durch nahezu geradlinige Pfade im Datenraum repräsentiert werden können. Der Vorteil liegt auf der Hand: Geradlinige Pfade lassen sich deutlich schneller berechnen als komplexe, verschlungene Kurven. Bisherige Implementierungen von Rectified Flow beruhten auf drei Kernkomponenten: 1. **Diffusionsbasiertes Flow-Matching:** Diese Komponente stellt sicher, dass der generierte Datenfluss mit der zugrundeliegenden Wahrscheinlichkeitsverteilung der Trainingsdaten übereinstimmt. 2. **\boldsymbolf-Vorhersage:** Diese Komponente dient dazu, die Richtung des Datenflusses an jedem Punkt im Datenraum vorherzusagen. 3. **Rektifikation (Reflow):** Dieser Schritt optimiert den Datenfluss iterativ, um ihn so geradlinig wie möglich zu gestalten. ## Rectified Diffusion: Ein neuer Ansatz für effiziente Bildgenerierung Die Autoren des Artikels "Rectified Diffusion: Straightness Is Not Your Need in Rectified Flow" stellen die Notwendigkeit der ersten beiden Komponenten von Rectified Flow in Frage. Sie argumentieren, dass der Erfolg der Methode hauptsächlich auf der Verwendung eines vortrainierten Diffusionsmodells und dem anschließenden Training mit speziell ausgewählten Datenpaaren beruht. Darüber hinaus betonen sie, dass die Geradlinigkeit des Datenflusses nicht das zentrale Ziel der Rektifikation sein sollte. Stattdessen sei es wichtiger, einen ODE-Pfad zu finden, der die Daten möglichst effizient durch den Datenraum transportiert. Dieser Pfad muss nicht zwangsläufig geradlinig sein, sondern kann auch Kurven enthalten, die den Eigenschaften der Daten besser entsprechen. Aufbauend auf diesen Erkenntnissen schlagen die Autoren "Rectified Diffusion" vor, eine Weiterentwicklung von Rectified Flow. Rectified Diffusion verzichtet auf die ersten beiden Komponenten von Rectified Flow und konzentriert sich auf die effiziente Approximation des optimalen ODE-Pfades. Die Methode ist nicht auf bestimmte Diffusionsmodelle beschränkt und kann daher flexibler eingesetzt werden. ## Überzeugende Ergebnisse und vielversprechende Perspektiven Die Autoren demonstrieren die Leistungsfähigkeit von Rectified Diffusion anhand von Experimenten mit den bekannten Stable Diffusion Modellen. Die Ergebnisse zeigen, dass Rectified Diffusion nicht nur schneller ist als Rectified Flow, sondern gleichzeitig auch eine höhere Bildqualität erzielt. Rectified Diffusion stellt einen wichtigen Schritt in Richtung effizientere und leistungsfähigere Diffusionsmodelle dar. Die Methode vereinfacht das Training und die Anwendung von Diffusionsmodellen und ermöglicht die Generierung hochwertiger Bilder mit deutlich geringerem Rechenaufwand. Die zukünftige Forschung wird zeigen, welches Potenzial in Rectified Diffusion steckt und welche weiteren Verbesserungen in der Bildgenerierung mit Diffusionsmodellen durch diese Methode erzielt werden können. ## Quellen * https://www.reddit.com/r/StableDiffusion/comments/1fzoaxd/straightness_is_not_your_need/ * https://openreview.net/pdf/910c5efa5739a5d2bef83d432da87d3096712ebe.pdf * https://www.cs.utexas.edu/~lqiang/rectflow/html/intro.html * https://openreview.net/forum?id=XVjTT1nw5z * https://arxiv.org/pdf/2401.15443 * https://nips.cc/virtual/2024/papers.html * https://www.researchgate.net/publication/380847372_RectifID_Personalizing_Rectified_Flow_with_Anchored_Classifier_Guidance * https://arxiv.org/abs/2209.03003 * https://proceedings.mlr.press/v202/lee23j/lee23j.pdf * https://www.arxiv-sanity-lite.com/?rank=pid&pid=2209.03003