Wachsende Herausforderungen durch KI-Halluzinationen in der wissenschaftlichen Literatur

KI-Halluzinationen in der Wissenschaft: Eine wachsende Herausforderung für die Forschungsintegrität

Die Integration künstlicher Intelligenz (KI) in wissenschaftliche Prozesse bietet zahlreiche Potenziale zur Effizienzsteigerung und Beschleunigung der Forschung. Gleichzeitig birgt sie jedoch auch Risiken, die das Fundament der wissenschaftlichen Integrität berühren können. Ein zentrales Thema in diesem Kontext sind sogenannte KI-Halluzinationen, insbesondere im Bereich der Literaturreferenzen. Aktuelle Untersuchungen weisen auf eine signifikante Zunahme gefälschter Zitate in wissenschaftlichen Publikationen hin, die mit der verbreiteten Nutzung generativer KI-Modelle korreliert.

Die Dimension des Problems: Fast 150.000 gefälschte Zitate

Eine umfassende Studie, durchgeführt von Wissenschaftlern der Cornell University und der University of California, beleuchtet das Ausmaß dieser Entwicklung. Durch die Analyse von 111 Millionen Referenzen aus 2,5 Millionen wissenschaftlichen Artikeln auf renommierten Preprint- und Publikationsplattformen wie Arxiv, Biorxiv, SSRN und Pubmed Central identifizierten die Forscher fast 150.000 gefälschte Zitate. Diese Referenzen ließen sich keiner bekannten Veröffentlichung zuordnen und werden in vielen Fällen auf KI-generierte Halluzinationen zurückgeführt.

Es zeigte sich, dass die fehlerhaften Zitate nicht auf vereinzelte Fälle beschränkt sind, sondern sich über eine Vielzahl von Artikeln verteilen. Dies deutet darauf hin, dass Autoren KI-generierte Referenzen oft ungeprüft übernehmen, was die Integrität der wissenschaftlichen Literatur beeinträchtigt. Der Anstieg dieser Phänomene ist insbesondere seit 2023, dem Zeitpunkt der breiten Einführung großer Sprachmodelle (LLMs), deutlich erkennbar.

Auswirkungen auf das wissenschaftliche Ökosystem

Die Konsequenzen gefälschter Zitate sind vielschichtig. Sie können das Vertrauen in wissenschaftliche Publikationen untergraben, die Reproduzierbarkeit von Forschungsergebnissen erschweren und die Evidenzkette innerhalb der Wissenschaft stören. Usha Haley, Professorin für Management an der Wichita State University, betont, dass gefälschte Zitate das Fundament des Peer-Reviews und des kumulativen Wissens erodieren. Diese Skepsis breitet sich auch innerhalb der wissenschaftlichen Gemeinschaft und unter Nachwuchswissenschaftlern aus.

Das Problem wird zusätzlich dadurch verschärft, dass die Referenzlisten in wissenschaftlichen Arbeiten in den letzten Jahren stetig gewachsen sind. Eine manuelle Überprüfung aller Quellen durch Gutachter und Ko-Autoren wird zunehmend unrealistisch. Dies schafft eine Lücke, die von KI-Halluzinationen ausgenutzt werden kann.

Maßnahmen und Gegenstrategien der Plattformen

Angesichts dieser Entwicklung reagieren wissenschaftliche Plattformen und Verlage. Arxiv, ein zentrales Preprint-Archiv für Physik, Mathematik und Informatik, hat bereits strengere Maßnahmen angekündigt. Steinn Sigurdsson, wissenschaftlicher Direktor von Arxiv, äußerte die Besorgnis, dass der wissenschaftliche Korpus durch KI-generierten "Rauschen" verwässert werde. Arxiv verlangt nun von Erstautoren eine Empfehlung etablierter Wissenschaftler und kündigte weitere Schritte gegen KI-generierte Inhalte an. Autoren müssen die volle Verantwortung für ihre Werke übernehmen, unabhängig davon, wie die Inhalte entstanden sind. Bei nachweislich unüberprüften KI-Generierungen drohen Sanktionen wie ein einjähriges Arxiv-Verbot und die Pflicht zur Vorab-Peer-Review für zukünftige Einreichungen.

Technologische Lösungen zur Erkennung

Parallel zur Anpassung von Richtlinien werden auch technologische Lösungen entwickelt. Ein Beispiel hierfür ist das Open-Source-Tool CiteAudit. Dieses System nutzt fünf spezialisierte KI-Agenten, um Zitate automatisch zu extrahieren, mit Datenbanken abzugleichen und deren Korrektheit zu bewerten. CiteAudit erreicht dabei eine Trefferquote von 97,2 Prozent und kann zehn Referenzen in etwa zwei Sekunden überprüfen. Im Gegensatz dazu zeigen kommerzielle LLMs wie GPT-5.2 unter realen Bedingungen Schwächen bei der Erkennung von Fälschungen, während sie gleichzeitig eine hohe Rate an Fehlalarmen bei echten Zitaten produzieren.

Die Entwicklung solcher Tools ist entscheidend, da proprietäre Modelle oft keine nachvollziehbaren Suchvorgänge ausführen und die Herkunft implizit abgerufener Belege intransparent bleibt.

Das "Bixonimanie"-Experiment und inhaltliche Halluzinationen

Das Problem der KI-Halluzinationen beschränkt sich nicht nur auf Zitate. Ein Experiment um Almira Osmanovic Thunström von der Universität Göteborg demonstrierte, wie leicht sich gefälschte Informationen in Chatbots einschleusen lassen. Für das Experiment wurde die erfundene Augenkrankheit "Bixonimanie" kreiert und in gefälschten wissenschaftlichen Arbeiten auf einer akademischen Plattform veröffentlicht. Innerhalb weniger Wochen begannen LLMs, die fiktive Krankheit als real darzustellen und sogar als Quelle in echten Fachpublikationen aufzutauchen.

Dieses Experiment verdeutlicht, dass die Art und Weise, wie Informationen präsentiert werden – insbesondere im professionellen oder wissenschaftlichen Stil – die Wahrscheinlichkeit von Halluzinationen in KI-Modellen erhöhen kann. Die schnelle Integration solcher Falschinformationen in die Wissensbasis der KI-Modelle birgt das Risiko einer zunehmenden Entfernung von Fakten und der Realität, insbesondere wenn menschliche Überprüfungsprozesse unzureichend sind.

Strukturelle Herausforderungen und der Weg nach vorn

Die Zunahme von KI-Fehlern in wissenschaftlichen Arbeiten ist auch ein Symptom tieferliegender struktureller Probleme im Wissenschaftssystem. Der immense Publikationsdruck, das "Publish or perish"-Prinzip, schafft Anreize für Abkürzungen und die Manipulation wissenschaftlicher Ergebnisse. Dies hat die Entstehung eines Ökosystems von "Paper Mills" begünstigt, die gefälschte Studien erstellen und in Fachzeitschriften platzieren.

Die Qualitätskontrolle durch Peer-Review-Systeme scheint angesichts der Flut von Einreichungen an ihre Grenzen zu stoßen. Die Notwendigkeit, bestehende Systeme zu überdenken und neue Ansätze zur Qualitätssicherung zu entwickeln, wird immer drängender.

Für Unternehmen und Fachkräfte im B2B-Bereich bedeutet dies eine erhöhte Sensibilität im Umgang mit KI-generierten Inhalten. Die Verantwortung für die Richtigkeit der Informationen liegt letztlich beim Anwender. Eine kritische Überprüfung von Quellen, das Misstrauen gegenüber konkreten, aber nicht verifizierbaren Behauptungen und der transparente Einsatz von KI-Tools sind entscheidend. KI sollte als Co-Pilot verstanden werden, der den Menschen in seiner Arbeit unterstützt, aber nicht als Autopilot, der die vollständige Verantwortung übernimmt.

Die wissenschaftliche Gemeinschaft und die Entwickler von KI-Technologien stehen vor der gemeinsamen Aufgabe, Mechanismen zu etablieren, die das Potenzial der KI nutzen, ohne die Grundprinzipien der wissenschaftlichen Integrität zu gefährden. Dies erfordert kontinuierliche Forschung, Entwicklung robuster Verifikationswerkzeuge und eine transparente Kommunikation über die Grenzen und Herausforderungen von KI-Systemen.

Bibliography: - t3n.de: Fast 150.000 gefälschte Zitate: Wie KI-Halluzinationen die Wissenschaft bedrohen - the-decoder.de: Erfundene Quellen haben sich bereits in die wissenschaftliche Literatur eingeschlichen - telepolis.de: Fake-Studien: Künstliche Intelligenz gefährdet das Fundament der Wissenschaft - the-decoder.de: NeurIPS-Analyse zeigt: Selbst Google-Autoren sind vor KI-Halluzinationen nicht sicher - it-boltwise.de: Zunehmende KI-Fehler in wissenschaftlichen Arbeiten: Ein wachsendes Problem - spektrum.de: Wissenschaftsbetrug: Falsche Studien, echtes Geschäft - schieb.de: ArXiv sperrt KI-Inhalte: So bekämpft die Plattform Halluzinationen - geekroom.al: KI-generierte gefälschte Zitate dominieren wissenschaftliche Inhalte - it-boltwise.de: NeurIPS-Konferenz: KI-generierte Zitate werfen Fragen auf - spektrum.de: Bixonimanie: Wie eine erfundene Krankheit KI-Chatbots austrickste