Neue Möglichkeiten für das Fine-Tuning von Diffusionsmodellen durch die Integration von NVIDIA NeMo Automodel und Hugging Face Diffusers

Skalierbares Fine-Tuning von Video- und Bildmodellen: Die Synergie von NVIDIA NeMo Automodel und 🤗 Diffusers

Die Generierung von Bildern und Videos durch künstliche Intelligenz hat in den letzten Jahren erhebliche Fortschritte gemacht. Diffusionsmodelle, wie beispielsweise FLUX.1-dev für Text-zu-Bild oder Wan 2.1 und HunyuanVideo für Text-zu-Video, stehen im Zentrum dieser Entwicklungen. Die Bibliothek 🤗 Diffusers hat sich dabei als zentrale Anlaufstelle für diese Modelle etabliert und bietet eine einheitliche Schnittstelle für Inferenz, Anpassung und Pipeline-Komposition.

Das Training und Fine-Tuning von Diffusionsmodellen bringt jedoch spezifische technische Herausforderungen mit sich. Erforderlich sind hier effiziente Speicherverwaltung durch Sharding, latentes Caching, Multiresolution-Bucketing sowie Konfigurationen, die von einer einzelnen GPU bis hin zu großen Clustern skalierbar sind. Um diesen Anforderungen gerecht zu werden, haben NVIDIA und Hugging Face eine Integration von NVIDIA NeMo Automodel mit der Diffusers-Bibliothek realisiert.

Was ist NeMo Automodel?

NVIDIA NeMo Automodel ist eine Open-Source-Trainingsbibliothek, die auf PyTorch DTensor basiert und Teil des NVIDIA NeMo Frameworks ist. Sie wurde mit zwei zentralen Designprinzipien entwickelt, die für das Diffusers-Ökosystem von Bedeutung sind:

• Hugging Face-Nativität: NeMo Automodel ermöglicht es, jedes Diffusers-Modell vom Hugging Face Hub direkt zu laden und zu trainieren. Es entfällt die Notwendigkeit einer Checkpoint-Konvertierung. Die Modelle nutzen Diffusers-Klassen für das Laden (z.B. WanTransformer3DModel) und Diffusers-Pipelines für die Generierung (z.B. WanPipeline). Fine-getunte Checkpoints können nahtlos in das Diffusers-Ökosystem zurückgeführt werden.
• Skalierbarkeit: Die Trainingsrezepte und -skripte von NeMo Automodel sind so konzipiert, dass sie sich leicht an verschiedene Skalierungsanforderungen anpassen lassen. Parallelisierungsstrategien wie FSDP2, Tensor-Parallelität, Expert-Parallelität, Context-Parallelität und Pipeline-Parallelität können durch Konfigurationsanpassungen aktiviert werden, ohne dass eine Code-Umschreibung erforderlich ist.

Aktuell unterstützt AutoModel ausschließlich Flow-Matching-Modelle. Es nutzt Flow-Matching als Trainingsziel, kombiniert mit Latent-Space-Training (durch vorab kodierte VAE-Ausgaben) und Multiresolution-Bucketing, um den Durchsatz zu optimieren.

Unterstützte Diffusionsmodelle

Die Integration von NeMo Automodel bietet vorgefertigte Fine-Tuning-Rezepte für eine Reihe offener Diffusionsmodelle. Die folgende Übersicht zeigt eine Auswahl der derzeit unterstützten Modelle:

Modell	Hugging Face ID	Aufgabe	Parameter	LoRA-Rezept
Wan 2.1 T2V 1.3B / 14B	Wan-AI/Wan2.1-T2V-1.3B-Diffusers Wan-AI/Wan2.1-T2V-14B-Diffusers	Text-zu-Video	1.3B (passt auf eine einzelne 40GB A100) / 14B	Ja
Wan 2.2 T2V A14B	Wan-AI/Wan2.2-T2V-A14B-Diffusers	Text-zu-Video	27B gesamt (MoE), 14B aktiv pro Schritt	Nein
FLUX.1-dev	black-forest-labs/FLUX.1-dev	Text-zu-Bild	12B	Ja
FLUX.2-dev	black-forest-labs/FLUX.2-dev	Text-zu-Bild	32B	Ja
HunyuanVideo 1.5	hunyuanvideo-community/HunyuanVideo-1.5-Diffusers-720p_t2v	Text-zu-Video	13B	Ja
Qwen-Image	Qwen/Qwen-Image	Text-zu-Bild	20B (MMDiT)	Ja

Vorteile der Zusammenarbeit

Für Nutzer der Diffusers-Bibliothek ergeben sich durch diese Kooperation mehrere konkrete Vorteile:

• Keine Checkpoint-Konvertierung: Vorab trainierte Gewichte vom Hub können ohne Umwege direkt verwendet werden. Es gibt kein separates "Trainingsformat", das konvertiert werden muss. Fine-getunte Checkpoints können direkt in eine DiffusionPipeline zur Inferenz geladen oder auf dem Hub geteilt werden. Nachgelagerte Tools wie Quantisierung, Kompilierung, LoRA-Adapter oder benutzerdefinierte Sampler bleiben funktionsfähig.
• Schnelle Unterstützung für neue Modelle: Wenn ein neues Diffusionsmodell in Diffusers integriert wird, erfordert dessen Aktivierung in NeMo Automodel lediglich eine geringfügige Code-Ergänzung – einen Datenvorverarbeitungs-Handler und einen Modelladapter. Der restliche Rezept-Stack, einschließlich FSDP2, Bucket-Dataloading, Checkpointing und Generierung, bleibt unverändert, und der YAML-gesteuerte Workflow kann weiterhin angewendet werden.
• Umfassendes und Parameter-Effizientes Fine-Tuning: Es werden sowohl das vollständige Fine-Tuning (Full Fine-Tuning) als auch Parameter-Efficient Fine-Tuning (PEFT) im LoRA-Stil unterstützt. Dies ermöglicht die Wahl zwischen maximaler Qualität (Full FT auf einem großen Cluster) und maximaler Effizienz (LoRA auf einem einzelnen Knoten). Die gleiche Rezeptstruktur deckt beide Szenarien ab.
• Skalierbares Training jenseits integrierter Skripte: NeMo Automodel bietet erweiterte Sharding-Schemata wie FSDP2, Tensor-, Kontext- und Pipeline-Parallelität, Multi-Node-Orchestrierung (derzeit SLURM, Kubernetes in Planung) und Multiresolution-Bucketing. Diese Funktionen ermöglichen das Training größerer Modelle wie FLUX.1-dev (12B) und HunyuanVideo (13B).

Einblick in den Fine-Tuning-Workflow

Der typische Workflow für das Fine-Tuning eines unterstützten Modells umfasst mehrere Schritte. Die Installation von Automodel wird über den NeMo Automodel Docker-Container (`nvcr.io/nvidia/nemo-automodel:26.06`) empfohlen, der PyTorch, TransformerEngine und andere CUDA-kompilierte Abhängigkeiten enthält. Alternativ ist eine Installation via pip3 install nemo-automodel oder aus dem Quellcode möglich.

Als Beispiel dient ein vollständiges Transformer-Fine-Tuning von FLUX.1-dev auf dem 78-Karten Rider–Waite Tarot-Datensatz. Dabei werden die vorhandenen YAML-Konfigurationen genutzt und spezifische Einstellungen über Kommandozeilen-Overrides angewendet.

1. Datensatz vorab kodieren

Das Diffusionsrezept verwendet zwischengespeicherte VAE-Latents und Texteinbettungen, anstatt die Quellbilder bei jedem Trainingsschritt neu zu kodieren. Die 78 Rider–Waite Bilder werden direkt von Hugging Face gestreamt und die Vorverarbeitung auf alle verfügbaren GPUs verteilt:

uv run --locked --no-default-groups \
  --extra diffusion \
  --extra diffusion-media \
python -m tools.diffusion.preprocessing_multiprocess image \
  --dataset_name multimodalart/1920-raider-waite-tarot-public-domain \
  --dataset_media_column image \
  --dataset_caption_column caption \
  --dataset_streaming \
  --max_images 78 \
  --output_dir /cache/flux_tarot \
  --processor flux \
  --model_name black-forest-labs/FLUX.1-dev \
  --max_pixels 245760

Die Bildunterschriften enthalten bereits das Trigger-Token trtcrd. Mit dem angegebenen Pixelbudget und dem Hochformat des Datensatzes werden die Samples dem 384x640 Bucket zugewiesen.

Für das Bildtraining erzeugt die Vorverarbeitung .pt-Cache-Dateien und geshardete Metadaten:

/cache/flux_tarot/
├── 384x640/
│   ├── <hash1>.pt
│   └── ...
├── metadata_shard_0000.json
├── metadata.json
└── _hf_dataset/
    └── images/

2. Training mit dem bestehenden FLUX YAML starten

Die Datei examples/diffusion/finetune/flux_t2i_flow.yaml wird direkt verwendet. Diese YAML-Datei wählt bereits FLUX.1-dev, vollständiges Transformer-Fine-Tuning, den FLUX Flow-Matching-Adapter, eine effektive Batch-Größe von 32 und ein achtfaches FSDP2 aus.

Die Tarot-spezifischen Pfade und Einstellungen werden als Kommandozeilen-Overrides bereitgestellt:

uv run --locked --no-default-groups --extra diffusion \
  torchrun --nproc-per-node=8 \
  examples/diffusion/finetune/finetune.py \
  -c examples/diffusion/finetune/flux_t2i_flow.yaml \
  --model.transformer_engine_fp8 false \
  --data.dataloader.cache_dir /cache/flux_tarot \
  --data.dataloader.base_resolution '[384,640]' \
  --lr_scheduler.lr_decay_style constant \
  --lr_scheduler.lr_warmup_steps 20 \
  --step_scheduler.max_steps 200 \
  --step_scheduler.ckpt_every_steps 50 \
  --checkpoint.checkpoint_dir /tmp/flux_tarot/checkpoints/full \
  --checkpoint.save_consolidated true \
  --seed 2026

Der Durchlauf erzeugt Checkpoints bei den Schritten 50, 100, 150 und 200. Der letzte Checkpoint ist als epoch_66_step_199 bezeichnet, wobei die Bezeichnung nullbasiert ist, obwohl sie den abgeschlossenen 200. Optimierungsschritt darstellt.

3. Generierung aus dem Fine-getunten Checkpoint

Für die Generierung wird die bestehende FLUX-Generierungs-YAML-Datei verwendet, wobei model.checkpoint auf den vollständigen Trainings-Checkpoint verweist:

uv run --locked --no-default-groups --extra diffusion \
  python examples/diffusion/generate/generate.py \
  -c examples/diffusion/generate/configs/generate_flux.yaml \
  --model.checkpoint /tmp/flux_tarot/checkpoints/full/epoch_66_step_199 \
  --inference.height 640 \
  --inference.width 384 \
  --inference.prompts '["a trtcrd of an astronaut tending a rose garden on Mars, \"the gardener\""]' \
  --output.output_dir /tmp/flux_tarot/generations/full/step_200 \
  --seed 2026

Das Einfügen von trtcrd ruft den gelernten Tarot-Stil auf. Für einen Kontrollvergleich wird der Seed und die Szene beibehalten, jedoch der Trigger weggelassen:

uv run --locked --no-default-groups --extra diffusion \
  python examples/diffusion/generate/generate.py \
  -c examples/diffusion/generate/configs/generate_flux.yaml \
  --model.checkpoint /tmp/flux_tarot/checkpoints/full/epoch_66_step_199 \
  --inference.height 640 \
  --inference.width 384 \
  --inference.prompts '["an astronaut tending a rose garden on Mars, \"the gardener\""]' \
  --output.output_dir /tmp/flux_tarot/generations/control \
  --seed 2026

Ergebnisse

Nach 200 Schritten behalten die getriggerten Astronauten-Prompts ihren angeforderten Inhalt bei, nehmen jedoch eine cremefarbene, rot-schwarze Vintage-Palette, starke Tintenkonturen, flache Farbfelder, gealterte Papiertöne und eine allegorische Kartenkomposition an. Der nicht getriggerte Astronaut bleibt fotografisch, was zeigt, dass der gelernte Effekt im Wesentlichen mit trtcrd assoziiert ist und nicht das Basismodell global ersetzt.

Die visuelle Darstellung der Ergebnisse (nicht hier im Textformat darstellbar) würde den Unterschied zwischen dem Basismodell und dem Fine-getunten Modell veranschaulichen, wobei das Fine-Tuning dem Bild einen spezifischen, stilisierten Charakter verleiht.

4. Performance

Die Leistungsmessungen wurden auf einem Knoten mit 8x NVIDIA H100 80GB GPUs durchgeführt. Die angegebenen Werte sind Mittelwerte mit Standardabweichungen über drei stabile 10-Schritt-Fenster.

Text-zu-Bild — 512×512

Modell	Training	Parallelität	GBS / LBS	Schrittzeit	Bilder/s	Bilder/s/GPU	Max. zugewiesener Speicher/GPU
FLUX.1-dev	Full	FSDP2	32 / 4	0.902 ± 0.039 s	35.51 ± 1.55	4.44 ± 0.19	63.88 GiB
FLUX.1-dev	LoRA r64	DDP	48 / 6	0.894 ± 0.008 s	53.73 ± 0.48	6.72 ± 0.06	67.43 GiB
Qwen-Image	Full	FSDP2	40 / 5	0.974 ± 0.075 s	41.21 ± 3.06	5.15 ± 0.38	53.55 GiB
Qwen-Image	LoRA r64	DDP	24 / 3	0.515 ± 0.006 s	46.63 ± 0.54	5.83 ± 0.07	66.33 GiB

Text-zu-Video — 512×512×49 Bilder

Jedes Sample entspricht einem 49-Frame-Videoclip.

Modell	Training	GBS / LBS	Aktivierungs-Checkpointing	Schrittzeit	Clips/s	Clips/s/GPU	Max. zugewiesener Speicher/GPU
Wan 2.1 1.3B	Full	8 / 1	Off	0.942 ± 0.038 s	8.50 ± 0.35	1.06 ± 0.04	6.09 GiB
Wan 2.1 14B	Full	8 / 1	On	3.798 ± 0.017 s	2.107 ± 0.006	0.263 ± 0.006	33.35 GiB
Wan 2.1 14B	LoRA r64	16 / 2	On	7.585 ± 0.014 s	2.110 ± 0.000	0.263 ± 0.000	24.07 GiB
Wan 2.2 A14B, high-noise	Full	8 / 1	On	4.628 ± 0.031 s	1.730 ± 0.010	0.217 ± 0.006	23.57 GiB
HunyuanVideo 1.5	Full	8 / 1	On	5.926 ± 0.046 s	1.350 ± 0.010	0.170 ± 0.000	15.90 GiB
HunyuanVideo 1.5	LoRA r64	8 / 1	On	5.575 ± 0.006 s	1.433 ± 0.006	0.180 ± 0.000	10.58 GiB

Details der Messung:

• Hardware: 8× H100 80GB HBM3, vollständig NVLink-verbunden.
• Bilddatensatz: lambda/naruto-blip-captions, 256 zwischengespeicherte Samples.
• Videodatensatz: svjack/Lelouch_Vi_Britannia_FramePack_First_Last_Frame_Video_Captioned, 112 zwischengespeicherte Samples.
• Vollständige Batches wurden mit drop_last=true erzwungen.
• Checkpoint-Schreibvorgänge waren deaktiviert.
• Die Schrittzeit umfasst Dataloading, Vorwärts- und Rückwärtslauf, Gradienten-Clipping, Optimierer- und Scheduler-Arbeit.
• Der Speicher ist der Spitzenwert der PyTorch CUDA-Allokator-Nutzung, nicht der gesamte NVML-Gerätespeicher.

Weitere Fine-Tuning/LoRA-Beispiele

Die Ergebnisse des Fine-Tunings und LoRA demonstrieren die Leistungsfähigkeit von NeMo Automodel für die Domänenspezialisierung. So konnte beispielsweise durch das Fine-Tuning des Wan 2.1 Modells auf einem Ghibli-Video-Datensatz der Ausgabestil erfolgreich angepasst werden. Dies zeigte sich in einer deutlichen Veränderung des Erscheinungsbilds einer Blume im Vergleich zur Baseline.

Die Anwendung von LoRA hatte ebenfalls einen merklichen Einfluss, indem der Adapter auf Wan 2.1 angewendet wurde und das Video einen charakteristischen Ghibli-Stil annahm, insbesondere sichtbar in der Hervorhebung der Augen der Charaktere.

Diese Beispiele, einschließlich derer für FLUX.2, bestätigen, dass Nutzer sowohl maximale Qualität durch vollständiges Fine-Tuning als auch maximale Effizienz durch PEFT im LoRA-Stil erreichen können, um die Ausgabe an spezifische stilistische Domänen anzupassen.

Ausblick: Pythonic Recipe APIs

Während YAML eine robuste Lösung für reproduzierbare Konfigurationen bietet, die von Teams leicht geprüft und wiederverwendet werden können, besteht auch ein Bedarf an einer programmatischen Schnittstelle. In einer zukünftigen Version von NeMo Automodel ist geplant, die Diffusionsrezepte über eine vollständig typisierte Pythonic API zugänglich zu machen. Dies wird es Nutzern ermöglichen, dieselben Komponenten für Modell, Daten, Optimierer, PEFT/LoRA, Parallelisierung, Checkpointing und Generierung direkt aus Python zu konfigurieren.

Der Pythonic-Pfad soll die Integration der Rezepte in bestehende Trainingscodes, Notebooks und Experiment-Workflows erleichtern und eine erstklassige Pythonic-Schnittstelle neben dem YAML-Schnellstartpfad bieten.

Fazit

Die Integration von NVIDIA NeMo Automodel mit der Hugging Face Diffusers-Bibliothek stellt einen bedeutenden Schritt zur Demokratisierung und Skalierung des Fine-Tunings von Diffusionsmodellen dar. Durch die Bereitstellung einer leistungsstarken, flexiblen und benutzerfreundlichen Lösung können Unternehmen und Entwickler ihre Kreativprozesse beschleunigen und maßgeschneiderte KI-Modelle für ihre spezifischen Anforderungen entwickeln.

Diese Entwicklung unterstreicht das Engagement von NVIDIA und Hugging Face, die Grenzen der KI-Generierung zu erweitern und fortschrittliche Technologien einem breiteren Publikum zugänglich zu machen. Für B2B-Anwender bedeutet dies eine verbesserte Möglichkeit, visuelle Inhalte in großem Maßstab zu personalisieren und zu optimieren, was neue Potenziale in Bereichen wie Marketing, Design und Content-Erstellung eröffnet.

Bibliographie

- Fine-tune video and image models at scale with NVIDIA NeMo Automodel and 🤗 Diffusers. Hugging Face Blog. - Diffusion Model Fine-Tuning with NeMo AutoModel. NVIDIA NeMo AutoModel Documentation. - NeMo Automodel. Hugging Face Diffusers Documentation. - NVIDIA-NeMo/Automodel. GitHub Repository.