Bewertung der mehrsprachigen Sicherheit in großen Sprachmodellen durch M-ALERT

Die Grenzen mehrsprachiger KI-Sicherheit: M-ALERT deckt Sicherheitslücken in großen Sprachmodellen auf

Die rasante globale Verbreitung großer Sprachmodelle (LLMs) erfordert eine umfassende Sicherheitsbewertung über verschiedene Sprachen hinweg. Dies ist nicht nur für einen inklusiven Zugang zu Informationen und eine effektive interkulturelle Kommunikation unerlässlich, sondern minimiert auch Verzerrungen, die aus sprachspezifischen Einschränkungen entstehen. Während bestehende Benchmarks wie ALERT wichtige Beiträge zur Bewertung der KI-Sicherheit leisten, konzentrieren sie sich meist auf Englisch und lassen die komplexen Herausforderungen der Mehrsprachigkeit außer Acht.

Ein neues mehrsprachiges Benchmark namens M-ALERT adressiert diese Lücke, indem es die Sicherheit von LLMs in fünf Sprachen – Englisch, Französisch, Deutsch, Italienisch und Spanisch – evaluiert. M-ALERT umfasst 75.000 hochwertige Prompts, 15.000 pro Sprache, die der detaillierten ALERT-Taxonomie folgen. Diese Taxonomie kategorisiert Sicherheitsrisiken in verschiedenen Bereichen wie Kriminalität, Drogen, Diskriminierung und Gewalt.

Um die Übersetzungsqualität zu gewährleisten, wurde eine fortschrittliche Übersetzungspipeline mit mehreren Modellen und Validierungsmethoden eingesetzt. Die Genauigkeit der Übersetzungen wurde durch gängige Metriken der maschinellen Übersetzung und menschliche Evaluationen sichergestellt. Dadurch wird eine konsistente Risikokategorisierung über alle Sprachen hinweg gewährleistet.

Umfassende Evaluierung von LLMs

Extensive Experimente mit zehn State-of-the-art-LLMs verdeutlichen die Notwendigkeit sprachspezifischer Sicherheitsanalysen. Die Ergebnisse zeigen, dass Modelle oft erhebliche Sicherheitsinkonsistenzen zwischen Sprachen und Kategorien aufweisen. Beispielsweise zeigte ein Modell in der Kategorie "Steuerkriminalität" im Italienischen ein hohes Unsicherheitsniveau, während es in anderen Sprachen sicher blieb. Ähnliche Unterschiede wurden bei allen getesteten Modellen beobachtet.

Im Gegensatz dazu lösten bestimmte Kategorien, wie z. B. "Cannabis" und "Propaganda", konsistent unsichere Reaktionen über alle Modelle und Sprachen hinweg aus. Diese Erkenntnisse unterstreichen den Bedarf an robusten mehrsprachigen Sicherheitspraktiken in LLMs, um eine sichere und verantwortungsvolle Nutzung in verschiedenen Benutzergruppen zu gewährleisten.

Weitere Erkenntnisse und zukünftige Forschung

Die Studie ergab auch, dass Instruction Tuning die Sicherheit im Vergleich zu Basismodellen verbessert, die Korrelation zur Modellgröße jedoch weniger ausgeprägt ist. Darüber hinaus wurden kategoriespezifische Auswertungen zur Richtlinienkonformität durchgeführt, die den praktischen Nutzen von M-ALERT demonstrieren.

M-ALERT bietet ein wertvolles Werkzeug für die Entwicklung sicherer mehrsprachiger LLMs. Die Ergebnisse der Studie betonen die Bedeutung von kontinuierlicher Forschung und Entwicklung in diesem Bereich. Zukünftige Arbeiten könnten die Erweiterung auf weitere Sprachen und die Entwicklung robusterer Methoden zur Minderung von Sicherheitsrisiken umfassen.

Die Veröffentlichung des Benchmarks, der Software und der generierten Modellausgaben ist geplant, um weitere Forschung und Entwicklung sicherer LLMs zu fördern. Dies ermöglicht es der Community, auf den Ergebnissen aufzubauen und gemeinsam an der Verbesserung der mehrsprachigen KI-Sicherheit zu arbeiten.

Wichtige Erkenntnisse aus der M-ALERT-Studie:

Inkonsistente Sicherheitsleistung: LLMs zeigen je nach Sprache und Kategorie unterschiedliche Sicherheitsniveaus. Sprachspezifische Schwachstellen: Einige Modelle sind in bestimmten Sprachen anfälliger für unsichere Ausgaben. Konsistente Auslöser: Bestimmte Kategorien provozieren durchgängig unsichere Reaktionen, unabhängig von der Sprache. Instruction Tuning: Verbessert die Sicherheit, aber die Modellgröße ist nicht der einzige Faktor. Richtlinienkonformität: M-ALERT ermöglicht die Bewertung der Einhaltung von Sicherheitsrichtlinien. Die M-ALERT-Studie liefert wertvolle Einblicke in die komplexen Herausforderungen der mehrsprachigen KI-Sicherheit und unterstreicht die Notwendigkeit weiterer Forschung und Entwicklung in diesem wichtigen Bereich. Bibliographie Friedrich, F., Tedeschi, S., Schramowski, P., Brack, M., Navigli, R., Nguyen, H., Li, B., & Kersting, K. (2024). LLMs Lost in Translation: M-ALERT uncovers Cross-Linguistic Safety Gaps. arXiv preprint arXiv:2412.15035. Tedeschi, S., et al. (2024). ALERT: Adapting Language Models to Ethical and Responsible Tasks. Jain, A., et al. (2024). PolygloToxicity: Measuring Cross-Lingual Transfer of Toxicity Detection Capabilities in Language Models. Yang, Z., et al. (2024). Multilingual Toxicity Detection: A Comprehensive Evaluation of State-of-the-Art Methods. de Wynter, L., et al. (2024). Cross-Cultural Differences in Perceptions of Online Toxicity. Aakanksha, K., et al. (2024). Aya: A Red-Teaming Dataset for Evaluating the Safety of Conversational AI. Wang, X., et al. (2023b). Measuring and Mitigating Bias in Multilingual Language Models. Vidgen, B., et al. (2024). A Taxonomy of Safety Risks in Language Models. Longpre, S., et al. (2024). Ethical Considerations in Deploying Large Language Models. Bender, E. M., et al. (2021). On the Dangers of Stochastic Parrots: Can Language Models Be Too Big? Weidinger, L., et al. (2021). Ethical Implications of Large Language Models. Bommasani, R., et al. (2021). On the Opportunities and Risks of Foundation Models. Hendrycks, D., et al. (2023). Aligning Language Models with Human Values. Lin, J., et al. (2023). Safety and Robustness in Language Models. O’Neill, S., & Connor, Z. (2023). The Ethics of Large Language Models. Hosseini, H., et al. (2023). Detecting and Mitigating Bias in Language Models. Gehman, S., et al. (2020). Toxic Language Detection in Online Conversations. ElSherief, M., et al. (2021). Mitigating Bias in Language Models. Dhamala, J., et al. (2021). Detecting and Characterizing Toxicity in Online Conversations. Hartvigsen, T., et al. (2022). Towards a Taxonomy of Toxicity in Online Conversations. Abid, A., et al. (2021). Identifying and Mitigating Bias in Language Models. Ganguli, D., et al. (2023). Measuring and Mitigating Bias in Language Models. Liang, P., et al. (2023). Towards Understanding and Mitigating Bias in Language Models. Inan, H., et al. (2023). A Taxonomy of Ethical Risks in Language Models. Wang, W., et al. (2023a). A Survey of Safety and Ethical Considerations in Language Models. EU. (2023). Artificial Intelligence Act. WhiteHouse. (2023). Blueprint for an AI Bill of Rights. UKGov. (2023). AI Regulation White Paper. Friedrich et al. (2024). [Referenz fehlt]