Forscher enthüllen erstes Framework zur Bewertung von KI-Modellen gemäß EU-Vorschriften

Wissenschaftler der ETH Zürich, des Institute for Artificial Intelligence and Technology (INSAIT) in Sofia und des Startups LatticeFlow AI haben die erste umfassende Bewertungsplattform für generative KI-Modelle im Kontext des EU AI Act vorgestellt. Das Framework, COMPL-AI genannt, umfasst eine technische Interpretation des Gesetzes und eine offene Benchmarking-Suite zur Bewertung großer Sprachmodelle (LLMs). "Wir laden KI-Forscher, -Entwickler und -Regulierungsbehörden ein, sich uns bei der Weiterentwicklung dieses sich entwickelnden Projekts anzuschließen", sagte Prof. Martin Vechev, Professor an der ETH Zürich und Gründer und wissenschaftlicher Direktor von INSAIT in Sofia. "Wir ermutigen andere Forschungsgruppen und Praktiker, dazu beizutragen, indem sie die Abbildung des AI Act verfeinern, neue Benchmarks hinzufügen und dieses Open-Source-Framework erweitern."

Erste technische Interpretation des EU AI Act

Der EU AI Act, der im August 2024 in Kraft trat, legt zwar allgemeine regulatorische Anforderungen fest, enthält aber keine detaillierten technischen Richtlinien für Unternehmen. COMPL-AI zielt darauf ab, diese Lücke zu schließen, indem es rechtliche Anforderungen in messbare technische Spezifikationen übersetzt. Das Framework basiert auf 27 aktuellen Benchmarks, mit denen LLMs anhand dieser technischen Anforderungen bewertet werden können. Die Methodik kann auch erweitert werden, um KI-Modelle in Bezug auf zukünftige Vorschriften zu bewerten, die über den EU AI Act hinausgehen.

Erste Compliance-orientierte Bewertung öffentlicher KI-Modelle

Im Rahmen der Veröffentlichung wurden erstmals öffentliche generative KI-Modelle von Unternehmen wie OpenAI, Meta, Google, Anthropic und Alibaba auf der Grundlage der technischen Interpretation des EU AI Act bewertet. Die Bewertung ergab wichtige Lücken: Mehrere leistungsstarke Modelle erfüllen die regulatorischen Anforderungen nicht, wobei viele nur etwa 50 % der Benchmarks für Cybersicherheit und Fairness erreichen. Positiv zu vermerken ist, dass die meisten Modelle bei den Anforderungen in Bezug auf schädliche Inhalte und Toxizität gut abgeschnitten haben. Den Forschern zufolge stehen kleinere Modelle vor größeren Herausforderungen, da sie oft die Leistungsfähigkeit über ethische Aspekte wie Diversität und Fairness stellen. Überraschenderweise schnitt ein Modell von OpenAI, einem Unternehmen, das nicht unbedingt für ethisch sorgfältige Entwicklung bekannt ist, am besten ab: GPT-4 Turbo. Dicht gefolgt von Claude 3 Opus, das laut den Benchmarks weniger Transparenz bot, aber sicherer gegen Angriffe war. "Mit diesem Framework kann nun jedes Unternehmen – egal ob mit öffentlichen, benutzerdefinierten oder privaten Modellen – seine KI-Systeme anhand der technischen Interpretation des EU AI Act bewerten. Unsere Vision ist es, Unternehmen in die Lage zu versetzen, sicherzustellen, dass ihre KI-Systeme nicht nur leistungsstark sind, sondern auch vollständig mit den regulatorischen Anforderungen wie dem EU AI Act übereinstimmen", sagte Dr. Petar Tsankov, CEO und Mitbegründer von LatticeFlow AI.

Europäische Kommission begrüßt die Initiative

Thomas Regnier, Sprecher der Europäischen Kommission für digitale Wirtschaft, Forschung und Innovation, kommentierte die Veröffentlichung wie folgt: "Die Europäische Kommission begrüßt diese Studie und die Plattform zur Bewertung von KI-Modellen als einen ersten Schritt zur Übersetzung des EU AI Act in technische Anforderungen, die KI-Modellanbietern bei der Umsetzung des AI Act helfen." Die Veröffentlichung von COMPL-AI könnte auch den GPAI-Arbeitsgruppen zugutekommen, die mit der Überwachung der Umsetzung und Durchsetzung der AI Act-Regeln für KI-Modelle für allgemeine Zwecke (GPAI) beauftragt sind. Sie können das technische Interpretationsdokument als Ausgangspunkt für ihre Bemühungen verwenden.

Bibliographie

- https://www.bta.bg/en/news/culture/762388-bulgarian-ai-institute-eth-zurich-and-latticeflow-unveil-groundbreaking-ai-com - https://digital-strategy.ec.europa.eu/en/policies/european-approach-artificial-intelligence - https://digital-strategy.ec.europa.eu/en/policies/regulatory-framework-ai - https://campuls.hof-university.com/latest/ki-gesetz-der-europaeischen-union-soll-vertrauen-in-die-technik-schaffen-2/ - https://www.pymnts.com/news/artificial-intelligence/2024/companies-assess-compliance-as-european-union-ai-act-takes-effect/ - https://www.researchgate.net/publication/378120083_Unlocking_the_black_box_analysing_the_EU_artificial_intelligence_act's_framework_for_explainability_in_AI - https://law.asia/classifying-generative-ai-risks/ - https://verfassungsblog.de/chatgpt/ - https://carnegieendowment.org/research/2024/03/charting-the-geopolitics-and-european-governance-of-artificial-intelligence?lang=en