KI-Bildgenerierung im Wandel: Latent Consistency Models und Low-Rank Adaptation als Innovationstreiber

In einem Zeitalter, in dem Künstliche Intelligenz (KI) zunehmend in den Alltag integriert wird, spielen Innovationen und Verbesserungen in diesem Bereich eine entscheidende Rolle. Ein bemerkenswerter Fortschritt wurde in der Welt der KI-generierten Bilder durch die Einführung von Latent Consistency Models (LCM) und Low-Rank Adaptation (LoRA) gemacht. Diese Technologien bieten eine faszinierende Möglichkeit, die Bildgenerierung zu beschleunigen und gleichzeitig die Qualität beizubehalten.

Latent Consistency Models ermöglichen es, qualitativ hochwertige Bilder in typischerweise nur 2 bis 4 Schritten zu generieren, was den Einsatz von Diffusionsmodellen in nahezu Echtzeiteinstellungen möglich macht. LCMs können aus jedem vortrainierten Stable Diffusion (SD) Modell in nur 4000 Trainingsschritten destilliert werden, was etwa 32 Stunden auf einer A100-GPU entspricht. Das Ergebnis sind hochauflösende Bilder (768 x 768), die in wenigen Schritten, manchmal sogar in nur einem Schritt, erstellt werden können.

Ein zentraler Aspekt von LCM-LoRA ist das Training von Adapter-Schichten, konkret LoRAs. Dabei müssen nicht das gesamte Modell und somit weniger trainierbare Parameter gemanagt werden. Das Ergebnis sind LoRAs, die auf jede feinabgestimmte Version des Modells angewendet werden können, ohne dass sie separat destilliert werden müssen. Darüber hinaus können die LoRAs für vielfältige Aufgaben wie Bild-zu-Bild-Generierung, Inpainting oder AnimateDiff verwendet werden.

Ein weiterer Vorteil der Nutzung von LCM-LoRA ist die Möglichkeit, sie mit anderen LoRAs zu kombinieren und so stilisierte Bilder in wenigen Schritten zu generieren. Dies eröffnet neue kreative Möglichkeiten für die Bildgestaltung und -manipulation. Die LCM-LoRAs sind für verschiedene Versionen von Stable Diffusion verfügbar, einschließlich stable-diffusion-v1-5, stable-diffusion-xl-base-1.0 und SSD-1B.

Die Anwendung von LCM-LoRA in der Praxis erfordert zunächst das Laden der spezifischen Pipeline und des Modells. Anschließend wird der Scheduler auf LCMScheduler gesetzt, die LCM-LoRA-Gewichte für das Modell geladen und die Anzahl der Inferenzschritte sowie der guidance_scale angepasst. Die Inferenz erfolgt dann mit der Pipeline unter Verwendung der üblichen Parameter.

Ein Beispiel für die Anwendung von LCM-LoRA ist die Text-zu-Bild-Generierung. Dabei wird die StableDiffusionXLPipeline mit dem LCMScheduler verwendet und die LCM-LoRA geladen. Dieser Prozess ermöglicht eine schnelle Inferenz und überwindet die langsame iterative Natur von Diffusionsmodellen.

Die LCM-LoRA kann auch auf feinabgestimmte Modelle angewendet werden, ohne dass diese separat destilliert werden müssen. Beispielsweise kann die animagine-xl-Modell, eine feinabgestimmte Version des SDXL-Modells für die Erzeugung von Anime-Bildern, zusammen mit LCM-LoRA für die Generierung genutzt werden.

Darüber hinaus ist LCM-LoRA auch für die Bild-zu-Bild-Aufgaben geeignet. So kann zum Beispiel das dreamshaper-7-Modell zusammen mit der LCM-LoRA für stable-diffusion-v1-5 für die Bild-zu-Bild-Generierung verwendet werden.

Unter Einbeziehung des ControlNet/T2I-Adapters können mit LCM-LoRA auch detaillierte Bildmanipulationen vorgenommen werden, wie etwa die Veränderung von Stilen und Kleidung in Bildern.

Die Forschung und Entwicklung im Bereich der KI-Bildgenerierung schreitet rasant voran und eröffnet neue Horizonte in der kreativen Gestaltung. LCM-LoRA ist ein hervorragendes Beispiel dafür, wie mit innovativen Ansätzen die Effizienz gesteigert und die Qualität der generierten Bilder verbessert werden kann.

Quellen:
Hugging Face. (2023). Diffusers Dokumentation: Inference with LCM-LoRA. https://huggingface.co/docs/diffusers/using-diffusers/inference_with_lcm_lora
Lee, L. [@LeeLeepenkman]. (2024, 9. März). Experimentieren mit verschiedenen KI-Bildgenerierungseinstellungen mit LCM-LoRA im stable-diffusion-server. [Tweet]. Twitter.
YouTube. (n.d.). Super Fast Image Generation in stable diffusion using LCM LoRA. https://www.youtube.com/watch?v=icZze060TiE
YouTube. (n.d.). How to Make Amazing Infinite Zoom Videos | Stable Diffusion Tutorial. https://www.youtube.com/watch?v=4fqRkIZG-6A