LAION Veröffentlicht Überarbeitete Version Des AI-Datensatzes Re-LAION-5B

Einführung

Die gemeinnützige Organisation LAION (Large-scale Artificial Intelligence Open Network) hat kürzlich eine neue Version ihres weit verbreiteten AI-Trainingsdatensatzes veröffentlicht. Der neue Datensatz, bekannt als Re-LAION-5B, wurde umfassend überarbeitet und ist nun frei von Verweisen auf kinderpornografisches Material (CSAM, Child Sexual Abuse Material). Dies stellt einen bedeutenden Schritt in Richtung sicherer und ethischer Nutzung von AI-Trainingsdaten dar.

Hintergrund

Der ursprüngliche Datensatz, LAION-5B, wurde im Jahr 2023 von Forschern des Stanford Internet Observatory auf problematische Inhalte untersucht. Dabei wurden 1.673 Verweise auf kinderpornografisches Material entdeckt. LAION reagierte prompt und nahm den Datensatz offline, um eine gründliche Überprüfung und Reinigung durchzuführen. In Zusammenarbeit mit mehreren Kinderschutzorganisationen, darunter das Internet Watch Foundation (IWF) und das Canadian Center for Child Protection (C3P), wurden insgesamt 2.236 problematische Links entfernt.

Die Neue Version: Re-LAION-5B

Re-LAION-5B enthält 5,5 Milliarden Text-Bild-Paare und steht in zwei Versionen zur Verfügung: Re-LAION-5B Research und Re-LAION-5B Research-Safe. Die letztere Version wurde zusätzlich von nicht jugendfreien Inhalten bereinigt. LAION betont, dass diese Veröffentlichung einen neuen Sicherheitsstandard für die Reinigung von Datensätzen auf Web-Skala setzt.

Sicherheitsmaßnahmen und Filterung

LAION hat zur Filterung des neuen Datensatzes eine verbesserte Methode zur Identifizierung und Entfernung illegaler Inhalte entwickelt. Dies umfasst unter anderem den Abgleich mit Listen von Link- und Bild-Hashes, die von Partnerorganisationen bereitgestellt wurden. LAION weist darauf hin, dass viele der entfernten Links höchstwahrscheinlich bereits inaktiv sind, da fortlaufende Bemühungen zur Entfernung bekannter Materialien aus dem öffentlichen Internet unternommen werden.

Auswirkungen Auf Die AI-Community

Die Bereinigung von LAION-5B und die Veröffentlichung von Re-LAION-5B haben weitreichende Auswirkungen auf die AI-Forschung und -Entwicklung. Forscher und Entwickler können nun auf einen sicheren und ethisch vertretbaren Datensatz zugreifen, der nicht nur frei von illegalen Inhalten ist, sondern auch als Referenz für zukünftige Studien und Entwicklungen dient. LAION ruft alle Forscher und Organisationen auf, ihre bisherigen Versionen von LAION-5B zu bereinigen und auf Re-LAION-5B umzusteigen.

Herausforderungen und Zukünftige Schritte

Die Entfernung von CSAM aus AI-Trainingsdatensätzen stellt eine erhebliche Herausforderung dar, insbesondere angesichts der Größe und Komplexität solcher Datensätze. Trotz der Fortschritte, die mit Re-LAION-5B erzielt wurden, bleibt die Notwendigkeit bestehen, kontinuierlich verbesserte Filter- und Überwachungsmechanismen zu entwickeln. LAION betont, dass die Zusammenarbeit mit spezialisierten Organisationen wie IWF und C3P unerlässlich ist, um hohe Sicherheitsstandards zu gewährleisten.

Abschließende Gedanken

Die Veröffentlichung von Re-LAION-5B markiert einen bedeutenden Meilenstein in der AI-Forschung und -Entwicklung. Sie zeigt, dass es möglich ist, große und komplexe Datensätze auf ethisch vertretbare Weise zu nutzen und gleichzeitig die Sicherheit und den Schutz von Individuen zu gewährleisten. LAIONs Engagement für die Bereitstellung sicherer und transparenter Datensätze setzt einen wichtigen Präzedenzfall für die gesamte AI-Community und bietet eine solide Grundlage für zukünftige Forschungsarbeiten. Bibliographie: - https://www.heise.de/en/news/RE-LAION-5B-Image-database-without-abuse-images-9852925.html - https://www.reddit.com/r/StableDiffusion/comments/18muy1t/laion5b_largest_dataset_powering_ai_images/ - https://techcrunch.com/2024/08/30/the-org-behind-the-data-set-used-to-train-stable-diffusion-claims-it-has-removed-csam/ - https://laion.ai/blog/relaion-5b/ - https://www.startribune.com/child-abuse-images-removed-from-ai-image-generator-training-source-researchers-say/601135083 - https://uk.news.yahoo.com/child-abuse-images-removed-ai-204034630.html - https://www.theverge.com/2024/8/30/24232460/the-nonprofit-behind-a-popular-ai-training-dataset-says-it-purged-links-to-csam - https://www.404media.co/massive-ai-dataset-back-online-after-being-cleaned-of-child-sexual-abuse-material/ - https://apnews.com/2652b0f4245fb28ced1cf74c60a8d9f0 - https://arstechnica.com/?p=2046573