Der Aufstieg von Foundation Models (FMs), gepaart mit regulatorischen Bemühungen, die sich mit ihren Risiken und Auswirkungen befassen, hat ein großes Interesse an Open-Source-Modellen geweckt. Bestehende Speech FMs (SFMs) erfüllen jedoch nicht die Open-Source-Prinzipien, auch wenn dies behauptet wird, da keine existierenden SFMs Modellgewichte, Code und Trainingsdaten unter Open-Source-Bedingungen öffentlich zugänglich haben. Eine neue Initiative namens MOSEL (Massive Open-source compliant Speech data for the European Languages) unternimmt nun erste Schritte, um diese Lücke zu schließen, indem sie sich auf die 24 offiziellen Sprachen der Europäischen Union (EU) konzentriert.

Open-Source-Prinzipien und die Herausforderung für SFMs

Open Source AI, definiert durch die Open Source Initiative, bezieht sich auf Systeme, die unter Bedingungen zur Verfügung gestellt werden, die folgende Freiheiten gewährleisten: Nutzung des Systems für jeden Zweck ohne Genehmigungspflicht, Studium, Modifikation für jeden Zweck und Weitergabe mit oder ohne Modifikationen für jeden Zweck. Dies erfordert insbesondere, dass das Modell und der Code, die zum Trainieren und Ausführen des Systems verwendet werden, unter einer OS-Lizenz verfügbar sind und dass die Trainingsdaten unter einer OS-kompatiblen Lizenz verfügbar sind. Mit anderen Worten, ein OS-Modell sollte nicht mit Daten trainiert werden, die unter Lizenzen veröffentlicht wurden, die eines der vier wesentlichen Rechte - Nutzung, Studium, Modifikation und Weitergabe - für irgendeinen Zweck, einschließlich der kommerziellen Nutzung, einschränken. Bisher erfüllt jedoch kein existierendes SFM diese Definition. Modelle wie SeamlessM4T, Whisper und OWSM erfüllen alle, aus verschiedenen Gründen, nicht die Anforderungen für Open-Source AI.

MOSEL: Ein Schritt in Richtung EU-OSSFM

MOSEL konzentriert sich auf die Sammlung von OS-konformen Trainingsdaten für alle 24 offiziellen EU-Sprachen. Das Projekt hat 950.000 Stunden an Sprachdaten identifiziert, die für das Training eines EU-OSSFM geeignet sind. Dieser Bestand an OS-konformen Daten wird kontinuierlich aktualisiert und ist öffentlich als GitHub-Repository verfügbar.

Pseudo-Labels für unüberwachtes Lernen

Zusätzlich zur Datensammlung hat MOSEL automatisch Transkripte (sogenannte Pseudo-Labels) für 441.000 Stunden an unbeschrifteten Daten generiert. Diese Pseudo-Labels, die unter der OS-kompatiblen CC-BY 4.0-Lizenz auf HuggingFace veröffentlicht wurden, sollen die Entwicklung eines EU-OSSFM weiter erleichtern.

Experimente mit Maltesisch

Erste Experimente mit Maltesisch, einer der ressourcenärmsten EU-Sprachen, zeigen, dass die von MOSEL gesammelten Daten effektiv für das Training von ASR-Modellen verwendet werden können.

Schlussfolgerung

MOSEL ist ein wichtiger Schritt in Richtung der Entwicklung eines vollständig Open-Source-SFM für alle 24 offiziellen EU-Sprachen. Die Initiative liefert nicht nur eine umfassende Bestandsaufnahme von OS-konformen Sprachdaten, sondern veröffentlicht auch Pseudo-Labels für unüberwachtes Lernen. Die Ergebnisse der Experimente mit Maltesisch deuten darauf hin, dass MOSEL das Potenzial hat, die Entwicklung von robusten und leistungsstarken SFMs für eine Vielzahl von Anwendungen zu beschleunigen.

Bibliographie

- Gaido, M., Papi, S., Bentivogli, L., Brutti, A., Cettolo, M., Gretter, R., Matassoni, M., Nabih, M., & Negri, M. (2024). MOSEL: 950,000 Hours of Speech Data for Open-Source Speech Foundation Model Training on EU Languages. In *Proceedings of the 2024 Conference on Empirical Methods in Natural Language Processing*. - Mukhimer, A. (2013). *Acoustic event detection and classification in home environments*. Humboldt-Universität zu Berlin, Mathematisch-Naturwissenschaftliche Fakultät I. - O'Neill, J., Delacour, A., McParland, S., & Kilgour, J. (2021). SPGISpeech: 5,000 hours of transcribed financial audio for speech processing, diarization, and speaker recognition. In *ICASSP 2021-2021 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP)* (pp. 7243-7247). IEEE.