Textbasierte Bildsynthese Fortschritte und neue Bewertungsansätze in der künstlichen Intelligenz

Die Welt der künstlichen Intelligenz entwickelt sich rasant weiter und ein besonders spannender Bereich ist die textbasierte Bildsynthese (Text-to-Image Synthesis, T2I). Die Fähigkeit, aus Textbeschreibungen realistische und relevante Bilder zu erzeugen, eröffnet zahlreiche neue Möglichkeiten in verschiedenen Anwendungsfeldern, von der automatisierten Content-Erstellung bis hin zur Unterstützung kreativer Prozesse. Ein aktuelles Forschungsteam hat nun eine eingehende Untersuchung und eine neue Taxonomie zur Bewertung von T2I-Synthesemaßstäben vorgestellt.

Die Grundlage für die Fortschritte in der T2I-Synthese bildet die Verknüpfung von Sprache und Vision durch sogenannte Foundation Models, die auf einer großen Anzahl von Text-Bild-Paaren trainiert wurden, die aus dem World Wide Web oder anderen umfangreichen Datenbanken stammen. Mit steigendem Bedarf an hochwertiger Bildgenerierung, die eine inhaltliche Übereinstimmung zwischen Text und Bild gewährleistet, wurden neue Bewertungsmetriken entwickelt, die darauf abzielen, menschliche Urteile nachzuahmen. Forscher haben damit begonnen, Datensätze mit immer komplexeren Annotationen zu sammeln, um die Kompositionalität von Vision-Language-Modellen zu studieren und sie als Qualitätsmaß für die kompositionelle Ausrichtung zwischen Text und Bildinhalten zu integrieren.

Die neue Taxonomie, die von den Forschern vorgeschlagen wurde, kategorisiert bestehende T2I-Bewertungsmetriken und bietet einen systematischen Überblick über die Bewertungsstrategien für T2I-Synthese. Sie unterscheidet dabei zwei Hauptkategorien: reine bildbasierte Metriken und textkonditionierte Bildqualitätsmetriken. Die Taxonomie teilt diese weiter in Metriken, die entweder die allgemeine Bildqualität oder die Kompositionsqualität messen.

Zu den rein bildbasierten Metriken gehören distribution-basierte Metriken wie der Inception Score (IS) und der Fréchet Inception Distance (FID), die statistische Maßzahlen verwenden, um Unterschiede zwischen den Verteilungen von echten und generierten Bildern zu bewerten. Diese Metriken konzentrieren sich ausschließlich auf die Bildqualität, ohne Textbedingungen zu berücksichtigen.

Textkonditionierte Bildqualitätsmetriken umfassen unter anderem einbettungsbasierte Metriken, die die allgemeine Bildqualität anhand von gelernten Einbettungsrepräsentationen für visuelle und sprachliche Eingaben bewerten. Modelle wie CLIP und BLIP werden verwendet, um die Kosinusähnlichkeit zwischen Text- und Bildeinbettungen zu berechnen.

Eine weitere Kategorie sind inhaltsbasierte Metriken, die tiefer in die qualitativen Aspekte generierter Bilder eindringen, indem sie die Kompositionsqualität durch Inhaltsanalysen untersuchen. Dazu gehören die Genauigkeit von Objekten, räumliche Beziehungen und die Ausrichtung von Attributen.

Die Bewertung der T2I-Synthese hat sich weiterentwickelt, um die spezifischen Aspekte der T2I-Synthese zu berücksichtigen. Einbettungsbasierte Metriken nutzen vortrainierte Modelle, um die Ausrichtung zwischen Text- und Bildrepräsentationen zu bewerten. Inhaltsbasierte Metriken hingegen ermöglichen eine detailliertere Bewertung, indem sie den Text in einzelne Komponenten zerlegen und spezifische Inhaltsausrichtungen messen.

Die Forscher haben auch Optimierungsmethoden für die T2I-Synthese diskutiert, die die Bedeutung der Einbeziehung von menschlichen Urteilen in den Modellierungsprozess betonen. Techniken wie das Feinabstimmen von Generatoren auf von Belohnungsmodellen ausgewählten hochwertigen Proben und das Anwenden von Verstärkungslernen heben das Potenzial hervor, die Text-Bild-Ausrichtung zu verbessern und die generierten Bilder näher an menschliche Präferenzen heranzuführen.

Eine der größten Herausforderungen besteht darin, Bewertungsrahmen zu entwickeln, die die komplexen und vielfältigen Aspekte der Bildqualität in Bezug auf den Text erfassen können. Die Notwendigkeit von Bewertungsmetriken, die detaillierte Komponenteneinblicke bieten können, sowie die Bedeutung des Aufbaus umfassenderer und komplexerer Benchmark-Datensätze werden hervorgehoben. Darüber hinaus wird die Anpassung bestehender Modelle und Metriken diskutiert, um die visio-linguistische Kompositionalität effektiver zu verstehen und zu bewerten.

Durch die Etablierung einer neuen Taxonomie für T2I-Bewertungsmetriken und die Überprüfung vorhandener Metriken und Optimierungsansätze legt diese Arbeit den Grundstein für zukünftige Fortschritte bei der Bewertung der T2I-Synthese. Indem sie aktuelle Einschränkungen anspricht und Richtungen für zukünftige Forschungen vorschlägt, trägt die Arbeit zur sich entwickelnden Landschaft der generativen KI bei und drängt auf Modelle, die Bilder erzeugen können, die nicht nur von hoher Qualität sind, sondern auch kompositionell mit ihren textuellen Beschreibungen übereinstimmen.

Quellen:

- Hartwig, S., Engel, D., Sick, L., Kniesel, H., Payer, T., Poonam, & Ropinski, T. (2024). Evaluating Text to Image Synthesis: Survey and Taxonomy of Image Quality Metrics. arXiv preprint arXiv:2403.11821.
- Luo, S. (2021). A survey on multimodal deep learning for image synthesis: Applications, methods, datasets, evaluation metrics, and results comparison. In Proceedings of the 2021 5th International Conference on Innovation in Artificial Intelligence (ICIAI ’21). New York, NY, USA: Association for Computing Machinery. https://doi.org/10.1145/3461353.3461388.