Datenstrategie von PRX für Text-zu-Bild-Modelle im Fokus

Die Datenstrategie hinter PRX: Ein tiefer Einblick in die Grundlage von Text-zu-Bild-Modellen

Die Entwicklung leistungsstarker Text-zu-Bild-Modelle wie PRX erfordert eine durchdachte und robuste Datenstrategie. Dieser vierte Teil der PRX-Serie beleuchtet die komplexen Prozesse und Überlegungen, die in die Erstellung des Datensatzes eingeflossen sind, welcher die Grundlage für die beeindruckende Bildqualität des Modells bildet. Als Senior Specialist Journalist und Analyst für Mindverse analysieren wir die Kernprinzipien, Methoden und Erkenntnisse, die bei der Datenpipeline von PRX gewonnen wurden, um Ihnen klare und umsetzbare Einblicke in dieses technisch anspruchsvolle Feld zu geben.

Leitprinzipien der Datenstrategie

Die Architektur der PRX-Datenstrategie basiert auf mehreren grundlegenden Prinzipien, die darauf abzielen, einen optimalen Datensatz für das Vortraining zu schaffen.

Ein vielfältiger Datensatz für das Vortraining

Das primäre Ziel des Vortrainings ist es, dem Modell ein umfassendes Verständnis der visuellen Welt zu vermitteln. Dies beinhaltet die Erkennung visueller Konzepte, Objekte, Szenen, Kompositionen und Beleuchtungsverhältnisse. Daher steht die Abdeckung und Vielfalt des Datensatzes im Vordergrund, nicht die Perfektion jedes einzelnen Bildes. Ein breiter, repräsentativer Korpus lehrt das Modell mehr über die Struktur der visuellen Welt als ein kleinerer, ästhetisch ansprechenderer Datensatz, selbst wenn einzelne Bilder alltägliche Schnappschüsse oder leicht komprimiert sind. Eine übermäßige Filterung nach ästhetischen Kriterien in dieser Phase könnte die Verteilung verengen und dem Modell wichtige Konzepte und kompositorische Vielfalt vorenthalten. Die Verfeinerung der Bildgenerierung auf ein poliertes Erscheinungsbild wird späteren Phasen, wie dem Fine-Tuning, überlassen, die auf kleineren, sorgfältig kuratierten Datensätzen basieren. Vortraining dient der Breite, Fine-Tuning dem Feinschliff.

Kombination verschiedener Datenquellen

Der Vortrainingsdatensatz wird aus einer Mischung von öffentlichen und internen Datensätzen zusammengestellt. Dabei wird Wert auf die Nutzung bereits bestehender Kuratierungsarbeiten gelegt, anstatt diese zu wiederholen. Quellen liegen in unterschiedlichen Formaten vor: einige enthalten die Bilddaten selbst, andere Metadaten und Basis-Bildunterschriften. Ein pragmatischer Ansatz wurde verfolgt, indem auf bestehende Datensätze und eigene Tools zurückgegriffen wurde, um schnell einen Datensatz zu erstellen. Obwohl dies nicht unbedingt der absolut beste Datensatz ist, der erstellt werden könnte, bildete er einen soliden und schlanken Ausgangspunkt für das Vortraining eines 7B-Modells.

Die Bedeutung präziser Bildunterschriften

Erfahrungen zeigen, dass lange Bildunterschriften, die alles im Bild akkurat beschreiben, für das Vortraining am wichtigsten sind. Dies verbesserte die Stichprobenqualität erheblich. Treue Bildunterschriften ermöglichen es, selbst scheinbare "Geräusche" wie Screenshots, Werbung oder Logos als konditionierte, steuerbare Attribute zu lernen, anstatt sie unkontrolliert zu reproduzieren. Eine genaue Beschriftung verwandelt "Rauschen" in etwas, das man gezielt abfragen oder eliminieren kann. Daher ist die spätere Filterung bewusst leicht gehalten; es werden nur wirklich unbrauchbare Elemente entfernt, nicht alles Unvollkommene.

Datenformate: Lance und Mosaic Data Shards

Für das verteilte Training setzt PRX auf Mosaic Streaming und Mosaic Data Shards (MDS). Dieses Framework wird als wartungsarm, flexibel und leistungsstark beschrieben. MDS-Datensätze können effektiv gemischt, geshuffelt und direkt aus Objektspeichern wie S3 oder GCS für das verteilte Training verwendet werden.

Für die Feature-Entwicklung und Kuratierung von Datensätzen kommt Lance zum Einsatz. Lance ist ein spaltenorientiertes Datenformat, das effiziente Prädikat-Pushdowns, skalare Indizes und Vektorsuchen ermöglicht. Es ist ideal für den Aufbau und die Exploration von Datensätzen mit Milliarden von Zeilen. Die Strategie ist klar: Lance zum Aufbauen und Erkunden, MDS zum Streamen an das Training.

Text-Latents: Dynamische Berechnung

Bei früheren Trainingsläufen wurden Text-Latents mit T5Gemma als Text-Encoder vorab berechnet und in MDS gespeichert. Mit dem Wechsel zu Qwen3-VL als Text-Encoder wurde entschieden, die Text-Latents während des Trainings dynamisch zu berechnen. Dies führt zwar zu einem geringen Durchsatzverlust (ca. 3–4%), bietet aber zwei wesentliche Vorteile:

• Die MDS-Shards bleiben kleiner, was die Speicherung auf SSD-basierten Dateisystemen ermöglicht und das Streaming über das Netzwerk reduziert.
• Die Flexibilität, den Text-Encoder später ohne aufwendiges Umschreiben von Terabytes an gespeicherten Latents zu ändern.

Bildkodierung: JPEG Qualität 92

Alle Bilder werden als JPEG mit Qualität 92 kodiert, anstatt eines verlustfreien Formats wie PNG. Diese Entscheidung basiert auf umfassenden Messungen. Da reale Bilder oft bereits mehrfach JPEG-komprimiert wurden, ist die Frage, ob eine weitere Neukodierung schadet. Es wurde festgestellt, dass die erste Neukodierung bei Qualität 92 praktisch nicht wahrnehmbar ist. JPEG konvergiert schnell zu einem stabilen Zustand, und selbst nach 10 Zyklen bleiben die Bilder im nicht wahrnehmbaren Bereich, während PNG 3–10x größer wäre ohne wahrnehmbaren Gewinn. Die Metriken (PSNR und LPIPS) bestätigen, dass hochwertige JPEG-Speicherung kaum messbare Auswirkungen auf die Ausgabequalität hat, was für groß angelegtes Text-zu-Bild-Training mehr als ausreichend ist. Für artefakt-empfindliche Daten, die andere Photoroom-Modelle trainieren, werden weiterhin PNGs verwendet.

Aufbau des Datensatzes in Lance

Die interaktive Exploration von Parquet-Tabellen mit Milliarden von Zeilen ist herausfordernd. Daher werden die Daten in Lance gespeichert, wo sie indiziert, abgefragt und durchsucht werden können. Der Ingest-Prozess erfolgt mit Ray Data, das Quelltabellen parallel liest und viele Fragmente einer Lance-Tabelle über den Cluster verteilt schreibt.

Fragmentierung und Optimierung

Ein wichtiger Lernprozess betraf die Fragmentierung. Eine Lance-Tabelle ist in Fragmente unterteilt, und bestimmte Operationen skalieren mit der Gesamtzahl der Fragmente. Eine zu starke Fragmentierung führt zu langsamen Abfragen. Die Empfehlung lautet, die Anzahl der Fragmente niedrig zu halten (etwa hundert für eine Milliarde Zeilen) und regelmäßig eine Komprimierung durchzuführen, um kleine Fragmente zusammenzuführen. anfänglich zu viele kleine Fragmente führten zu einer langsamen Performance, die durch Komprimierung auf etwa eine Million Zeilen pro Fragment behoben werden konnte.

Vorhandene Bildunterschriften und Embeddings zur Exploration

Obwohl alle Bilder neu beschriftet werden, bleiben die ursprünglichen Metadaten und Embeddings wertvoll für die Datenexploration. Vorhandene Bildunterschriften und Vektor-Embeddings (z.B. CLIP-Embeddings) ermöglichen eine sofortige Navigation und Qualitätsbeurteilung des Datensatzes in Lance. Volltextsuche über Bildunterschriften und Nearest-Neighbor-Suche über Embeddings erleichtern das Browsen und die frühzeitige Erkennung von Problemen wie uninformative Bildunterschriften, nicht-fotografische Inhalte oder Duplikate. Diese Erkenntnisse fließen direkt in die Pipeline ein, indem sie zur Neukuratierung, Filterung und Deduplizierung anregen.

Neubeschriftung mit einem VLM

Die Neubeschriftung aller Bilder mit einem VLM (Visual Language Model) ist ein zentraler Schritt. Lange, detaillierte Bildunterschriften haben einen sehr starken Einfluss auf die Ausgabequalität. Ein Benchmark zeigte, dass mit Qwen2.5-VL-7B generierte, lange Bildunterschriften die Stichprobenqualität erheblich verbesserten (niedrigerer FID, CMMD und DINO-MMD) im Vergleich zu kürzeren Beschreibungen.

Auswahl des Captioners

Die Auswahl des optimalen Captioners erfolgte durch Benchmarking verschiedener VLMs. Drei Kandidaten (Qwen2.5-VL-7B-Captioner-Relaxed, Qwen3-VL-8B, Qwen3.5-9B) wurden anhand der Modellmetriken FID, CMMD und DINO-MMD über 100.000 Trainingsschritte bewertet. Qwen3.5-9B zeigte die besten Ergebnisse, dicht gefolgt von Qwen3-VL-8B. Trotz der überlegenen Qualität von Qwen3.5-9B wurde Qwen3-VL-8B aufgrund seiner höheren Geschwindigkeit (20 Bilder/s pro H200) und stabilen vLLM-Unterstützung gewählt, da der Durchsatz bei Hunderten Millionen Bildern eine Rolle spielt. Ein systematischer Prompt wurde verwendet, um dichte, visuell fundierte Absätze als Bildunterschriften zu generieren.

Erstellung von Mosaic Data Shards

Am Ende der Pipeline wird der beschriftete und in Buckets aufgeteilte Datenstrom in MDS umgewandelt, das Format, das der Trainer streamingfähig macht.

Vorteile von MDS

Mosaic Streaming bietet für das verteilte Training entscheidende Vorteile:

• Deterministisches, fortsetzbares Mischen: Algorithmen, die Shuffle-Qualität gegen Host-Speicher abwägen.
• Elastische Checkpoint-Wiederaufnahme: Anpassung der Knoten-/Ranganzahl und Wiederaufnahme ohne erneutes Sehen oder Überspringen von Samples.
• Gewichtetes Mischen mehrerer Streams: Unterschiedliche Datensätze/Teilmengen mit gewählten Verhältnissen, unter Beibehaltung der Shuffle- und Wiederaufnahme-Garantien.

Auflösungs- und Seitenverhältnis-Bucketing

Um die Batch-Verarbeitung zu optimieren, wird ein Aspect-Ratio-Bucketing verwendet. Bilder werden in feste (Breite, Höhe)-Formate gebracht, um unnötiges Cropping oder Padding zu vermeiden. Dies geschieht in zwei Schritten:

1. Auflösungsebene: Bilder werden der größten Ebene zugeordnet, die sie ohne Hochskalierung um mehr als 4/3 erreichen können (z.B. 512px, 1024px, 2048px, 4096px).
2. Seitenverhältnis innerhalb der Ebene: Innerhalb jeder Ebene werden Bilder in 13 Buckets nach Seitenverhältnis gruppiert, die eine konstante Token-Anzahl beibehalten.

Jedes Bild wird dann mit einem Lanczos-Filter auf die Bucket-Größe skaliert und als JPEG mit Qualität 92 kodiert. Die MDS-Dateien werden in einer Baumstruktur nach Auflösung und Seitenverhältnis organisiert, sodass der Trainer Buckets separat streamen kann.

Datenfilterung

Die ursprüngliche Datenexploration zeigte das Vorhandensein von textlastigen Bildern (Screenshots, Folien, Dokumente, Infografiken) und NSFW-Inhalten. Eine Filterung wurde implementiert, die auf einer Klassifizierung der Bildunterschriften mit Qwen3-8B basiert. Das Modell klassifiziert jede Bildunterschrift als "visuell", "Text" oder "NSFW". Dieser Ansatz ist kostengünstig und effizient, da er auf bereits vorhandenen Bildunterschriften aufbaut. Anstatt den gesamten Korpus neu zu schreiben, wird eine Skip-List-Funktion verwendet, die die zu überspringenden Sample-Indizes enthält. Dies bietet Flexibilität für nachträgliche Anpassungen und Ablationen.

Deduplizierung

Duplikate und nahezu identische Bilder wurden mithilfe von Perceptual Hashes identifiziert und entfernt. Ein DCT-basierter Perceptual Hash, implementiert mit OpenCV und SciPy, wurde eingesetzt. Zwei Hashes gelten als Übereinstimmung, wenn ihre Hamming-Distanz Null ist, wodurch nahezu pixelidentische Kopien entfernt werden. Der Deduplizierungsprozess identifiziert Duplikate und behält die höchstauflösende Kopie. Die Duplikate werden ebenfalls in einer Skip-List vermerkt, um den Datensatz nicht neu schreiben zu müssen.

Insgesamt wurden durch Deduplizierung und Filterung einige Prozent der Bilder entfernt, was die Datenqualität verbessert und Trainingsressourcen optimiert.

Ausblick

Der hier beschriebene Datensatz dient primär dem Vortraining, bei dem Breite und Skalierbarkeit im Vordergrund stehen. Für das überwachte Fine-Tuning und die Präferenz-Ausrichtung verschiebt sich der Fokus auf Qualität statt Quantität. Zukünftige Entwicklungen konzentrieren sich auf leistungsfähigere Kuratierungstools, die Bilder mit strukturierten Attributen versehen, um gezielte Teilmengen für das Fine-Tuning zu erstellen. Weitere Einblicke in Fine-Tuning, Präferenz-Ausrichtung und die dafür verwendeten Daten-Tools werden in zukünftigen Beiträgen erwartet.

Die PRX-Datenstrategie zeigt, dass der Erfolg von fortschrittlichen KI-Modellen maßgeblich von einer intelligenten und skalierbaren Datenaufbereitung abhängt. Die Kombination aus sorgfältiger Datenauswahl, präziser Annotation und effizienten Verarbeitungs- und Speicherformaten bildet das Rückgrat für die Entwicklung von Modellen, die ein tiefes Verständnis der visuellen Welt entwickeln können.

Bibliographie

• Lance: https://lance.org/
• Mosaic Streaming (MDS): https://github.com/mosaicml/streaming
• Ray Data: https://docs.ray.io/en/latest/data/data.html
• vLLM: https://github.com/vllm-project/vllm
• Qwen2.5-VL-7B-Instruct: https://huggingface.co/Qwen/Qwen2.5-VL-7B-Instruct
• LLaVA-1.5-LLaMA3-8B: https://huggingface.co/xtuner/llava-llama-3-8b-v1_1
• Qwen2.5-VL-7B-Captioner-Relaxed: https://huggingface.co/Ertugrul/Qwen2.5-VL-7B-Captioner-Relaxed
• Qwen3-VL-8B-Instruct: https://huggingface.co/Qwen/Qwen3-VL-8B-Instruct
• Qwen3.5-9B: https://huggingface.co/Qwen/Qwen3.5-9B
• FID (Heusel et al., 2017): https://arxiv.org/abs/1706.08500
• CMMD, "Rethinking FID" (Jayasumana et al., 2024): https://arxiv.org/abs/2401.09603
• DINOv2 (Oquab et al., 2023), die Features hinter DINO-MMD: https://arxiv.org/abs/2304.07193
• PRX Model Code: https://github.com/Photoroom/PRX
• PRX Pixel Model: https://huggingface.co/Photoroom/prxpixel-t2i
• PRX Pixel Demo (Hugging Face Space): https://huggingface.co/spaces/Photoroom/PRX-Pixel
• Perceptual Hash: https://www.hackerfactor.com/blog/index.php?/archives/432-Looks-Like-It.html
• JPEG quality estimation: https://www.bitsgalore.org/2024/10/30/jpeg-quality-estimation-using-simple-least-squares-matching-of-quantization-tables.html