Herausforderungen der Künstlichen Intelligenz bei unlösbaren mathematischen Problemen

KI und die Herausforderung unlösbarer mathematischer Probleme

Die Fortschritte im Bereich der Künstlichen Intelligenz (KI) sind beeindruckend, insbesondere im mathematischen Problemlösen. Aktuelle Modelle erreichen in etablierten Benchmarks oft hohe Genauigkeitswerte. Eine neue Untersuchung, durchgeführt von einem internationalen Konsortium aus 64 Mathematikern, beleuchtet jedoch eine kritische Schwäche dieser Systeme: die mangelnde Fähigkeit, unlösbare mathematische Probleme als solche zu erkennen, während sie gleichzeitig mit hoher Zuversicht fehlerhafte Lösungen präsentieren. Diese Erkenntnisse sind für die Entwicklung vertrauenswürdiger KI-Systeme von erheblicher Bedeutung, insbesondere in B2B-Anwendungen, wo die Verlässlichkeit von Lösungen von höchster Priorität ist.

SOOHAK: Ein neuer Maßstab für mathematische KI-Fähigkeiten

Der neu entwickelte Benchmark mit dem Namen SOOHAK (Standing Out Of Hard And Known problems) wurde von Forschern der Carnegie Mellon University, EleutherAI und der Seoul National University ins Leben gerufen. Er besteht aus 439 neu erstellten mathematischen Aufgaben, die sich in zwei Hauptkategorien unterteilen:

• Challenge-Set: 340 Probleme auf Graduierten- und Forschungsniveau, die anspruchsvolle mathematische Kenntnisse erfordern.
• Refusal-Set: 99 absichtlich fehlerhafte Probleme, die entweder logische Widersprüche enthalten oder unzureichende Informationen für eine eindeutige Lösung bieten.

Der fundamentale Unterschied zu früheren Benchmarks liegt darin, dass die Aufgaben von Grund auf neu konzipiert wurden, um eine Kontamination durch bereits im Trainingsmaterial vorhandene Lösungen auszuschließen. Ein Team von 38 Professoren, 25 Doktoranden und Postdocs sowie fünf Medaillengewinnern der Internationalen Mathematik-Olympiade (IMO) erstellte diese Aufgaben. Jeder Beitragende musste dabei versichern, keine KI-Hilfe verwendet zu haben.

Die Leistung der KI-Modelle: Stärken und Schwächen

Die Ergebnisse der Evaluierung sind differenziert und geben wichtige Einblicke in den aktuellen Stand der KI-Entwicklung im mathematischen Bereich:

Herausforderungen auf Forschungsniveau

Auf dem Challenge-Set zeigte Google Gemini 3 Pro mit 30 % die höchste Lösungsrate, gefolgt von GPT-5 (Versionen 5.1, 5.2) mit 26 %. Modelle wie Claude Opus 4.5 erreichten lediglich 10 %, während offene Modelle wie Kimi-2.5, Qwen3-235B und GPT-OSS-120B unter 15 % blieben. Bemerkenswert ist, dass 124 der Challenge-Aufgaben von keinem der getesteten Modelle gelöst werden konnten. Dies unterstreicht, dass trotz beeindruckender Leistungen in einfacheren oder olympischen Mathematikaufgaben, die Forschungsebene nach wie vor eine erhebliche Hürde darstellt.

Das Problem der "selbstbewussten Halluzination"

Der kritischste Befund betrifft das Refusal-Set. Hier wurde kein Modell die 50-Prozent-Marke bei der Erkennung unlösbarer Probleme überschreiten. Das offene Modell GLM-5 schnitt mit knapp unter 50 % am besten ab und übertraf damit sogar GPT-5 und Gemini 3 Pro. Die Qwen3-Familie hingegen versagte fast vollständig und erkannte in weniger als 3 % der Fälle die Fehlerhaftigkeit der Aufgaben.

Die Autoren des Benchmarks betonen, dass das Erkennen fehlerhafter Probleme ein "neues Optimierungsziel" darstellt, das von aktuellen Modellen nicht direkt adressiert wird. Während die Lösungsraten für lösbare Probleme mit zunehmender Modellgröße und Rechenleistung linear ansteigen, zeigt sich dieser Skalierungseffekt nicht bei der Fähigkeit, unlösbare Aufgaben zu identifizieren. Dies deutet darauf hin, dass mehr Rechenleistung Modelle zwar besser im Lösen macht, sie aber nicht unbedingt bescheidener im Eingeständnis macht, dass ein Problem keine Lösung hat.

Menschliche Expertise im Vergleich

Um die KI-Leistung in Relation zu setzen, wurden 25 menschliche Teilnehmer, von IMO-Medaillengewinnern bis zu promovierten Mathematikern, mit einer Auswahl von 79 Aufgaben des SOOHAK-Benchmarks konfrontiert. Insgesamt lösten die menschlichen Gruppen 51 % der Aufgaben. Nur Gemini-3-Pro konnte diese kombinierte menschliche Leistung mit 61 % übertreffen. Interessanterweise zeigten Teilnehmer mit Olympiade-Hintergrund bessere Leistungen als promovierte Forscher. Dies könnte darauf zurückzuführen sein, dass der Benchmark, mit seinem 4,5-stündigen Zeitfenster, eher auf die effizienten Lösungsstrategien von Wettbewerbsmathematikern zugeschnitten ist als auf die spezialisierte Forschungstiefe von Akademikern.

Ausblick und Implikationen für die B2B-Anwendung

Der vollständige SOOHAK-Datensatz wird erst Ende 2026 öffentlich zugänglich gemacht, um eine Kontamination der Trainingsdaten zu verhindern. Die Autoren weisen zudem auf die Grenzen des aktuellen Formats hin: Die Fokussierung auf eindeutige numerische Antworten lässt viele Bereiche der höheren Mathematik unberücksichtigt, die besser durch Beweise, Konstruktionen oder Gegenbeispiele bewertet werden könnten. Zukünftige Versionen des Benchmarks könnten daher reichhaltigere Formate, wie formale Beweisassistenten, integrieren.

Für Unternehmen, die KI-Lösungen in kritischen Bereichen einsetzen, sind diese Ergebnisse von großer Bedeutung. Die Tendenz von KI-Modellen, selbstbewusst falsche oder unbegründete Antworten zu liefern, wenn sie mit unlösbaren oder fehlerhaften Problemen konfrontiert werden, kann erhebliche Risiken bergen. Dies erfordert eine sorgfältige Validierung und den Einsatz von KI-Systemen, die nicht nur Problemlösungskompetenz, sondern auch ein "Verständnis" für die Grenzen ihres Wissens und die Integrität der Problemstellung aufweisen. Die Entwicklung von KI-Modellen, die in der Lage sind, Unsicherheiten zu äußern oder die Unlösbarkeit einer Aufgabe zu erkennen, ist eine entscheidende Anforderung für vertrauenswürdige und sichere B2B-Anwendungen.

Die Forschung an Benchmarks wie SOOHAK ist daher unerlässlich, um die tatsächlichen Fähigkeiten von KI-Modellen zu messen und die Entwicklung robusterer und zuverlässigerer Systeme voranzutreiben, die in der Lage sind, komplexe mathematische und logische Herausforderungen mit der gebotenen Sorgfalt und Reflexion zu meistern.

Literaturverzeichnis

• Kemper, J. (2026, 17. Mai). Mathe-Benchmark zeigt: KI-Modelle liefern selbstbewusst Antworten auf unlösbare Aufgaben. The Decoder. Abgerufen von https://the-decoder.de/mathe-benchmark-zeigt-ki-modelle-liefern-selbstbewusst-antworten-auf-unloesbare-aufgaben/
• Kemper, J. (2026, 17. Mai). New math benchmark reveals AI models confidently solve problems that have no solution. The Decoder. Abgerufen von https://the-decoder.com/new-math-benchmark-reveals-ai-models-confidently-solve-problems-that-have-no-solution/
• Son et al. (2026). SOOHAK: A Mathematician-Curated Benchmark for Evaluating Research-level Math Capabilities of LLMs. ArXiv. Abgerufen von https://arxiv.org/pdf/2605.09063v1
• Savitsky, Z. (2024, 3. Dezember). ‘Brutal’ math test stumps AI but not human experts. Science. Abgerufen von https://www.science.org/content/article/brutal-math-test-stumps-ai-not-human-experts
• Wang, E. Y., Motwani, S., Roggeveen, J. V., Hodges, E., Jayalath, D., London, C., Ramakrishnan, K., Cipcigan, F., Torr, P., & Abate, A. (2026). HorizonMath: Measuring AI Progress Toward Mathematical Discovery with Automatic Verification. ArXiv. Abgerufen von https://arxiv.org/pdf/2603.15617
• Rahman, A. M. M., Ye, J., Yao, W., Liu, S. S., Yu, J., Yu, J., Yin, W., & Wang, G. (2025, 4. April). From Blind Solvers to Logical Thinkers: Benchmarking LLMs’ Logical Integrity on Faulty Mathematical Problems. ArXiv. Abgerufen von https://arxiv.org/abs/2410.18921
• Glazer, E., Erdil, E., Besiroglu, T., Chicharro, D., Chen, E., Gunning, A., Olsson, C. F., Denain, J.-S., Ho, A., Santos, E. de O., Järviniemi, O., Barnett, M., Sandler, R., Vrzala, M., Sevilla, J., Ren, Q., Pratt, E., Levine, L., Barkley, G., Stewart, N., Grechuk, B., Grechuk, T., Enugandla, S. V., Wildon, M., Coelho, T., Khan, A. Z., Brian, W., Teixeira, P., Le, V.-K., Jurka, J., Schmitt, J., Balakrishnan, S. S., Yu, P., Brodsky, D., Masroor, R., Wang, J., Arreola, D., Knight, J., Lebowitz-Lockard, N., Moulinos, T., & Ducey, J. (2025, 23. Dezember). FrontierMath: A Benchmark for Evaluating Advanced Mathematical Reasoning in AI. ArXiv. Abgerufen von https://arxiv.org/pdf/2411.04872
• Howlett, J. (2026, 14. Februar). First Proof is AI’s toughest math test yet. The results are mixed. Scientific American. Abgerufen von https://www.scientificamerican.com/article/first-proof-is-ais-toughest-math-test-yet-the-results-are-mixed/
• Arnold, P. (2026, 9. Februar). Leading AI models struggle to solve original math problems. Phys.org. Abgerufen von https://phys.org/news/2026-02-ai-struggle-math-problems.html
• (2025, 25. September). LLMS FAIL TO RECOGNIZE MATHEMATICAL INSOLVABILITY. OpenReview. Abgerufen von https://openreview.net/pdf/953c68293e52107005d3a18f9d867cd1e785d050.pdf