Bereits vor mehreren Monaten hatte ich Studienbeispiele auf Mastodon getrötet, bei denen ChatGPT verwendet wurde. Die Autoren waren bei ihrer Arbeit so schlampig, dass typische KI-Antworten in den Dokumenten leicht auffindbar waren. Für seriöse Studien sollte so etwas unmöglich sein, denn der Review-Prozess sollte solchen Unfug aufdecken.
Eine wachsende Bedrohung durch KI-generierte Inhalte
Es gibt bei wissenschaftlichen Arbeiten allerdings auch einen „grauen Markt“. Unseriöse Magazine, die jeden Murks veröffentlichen, sind seit langer Zeit bekannt. Man kann jedoch auch manipulativ in den Wissenschaftssektor eingreifen, indem man gefälschte Studien lanciert und breit streut. Das Prinzip ist wie bei Fake News. Auf diese Weise lassen sich vielleicht durch eine Lobby gewünschte Falschinformationen verbreiten. Hereinfallen müssen ja nicht die Wissenschaftler, sondern eher politische Entscheidungsträger.
Und tatsächlich tauchen in wissenschaftlichen Archiven mehr und mehr fragwürdige Studien auf, die offensichtlich mit generativer KI, wie ChatGPT, erstellt wurden. Diese Arbeiten wirken für den Laien auf den ersten Blick wie normale wissenschaftliche Texte. Sie beinhalten jedoch häufig Fehlinformationen und Nachlässigkeiten. Sie sind auf den ersten Blick nicht von seriösen Arbeiten zu unterscheiden. Auch Suchmaschinen haben keine Informationen zur Seriosität und listen die Suchergebnisse einfach nach Relevanz.
Wer veröffentlicht fragwürdige, KI-gestützte Arbeiten?
Eine Untersuchung aus Schweden zeigt, dass die überwiegende Mehrheit der Studien sogenannte „grauen“ Veröffentlichungen waren. Damit sind nicht-indexierte Zeitschriften, Dokumente vom Typ „Arbeitspapier“ und Preprint-Server gemeint. Typisch für die Papiere ist die fehlende Offenlegung der Nutzung von KI – was allerdings nicht verwunderlich ist.
Gefunden wurden 139 Arbeiten, bei denen der Verdacht besteht, dass ChatGPT oder ähnliche Sprachmodelle täuschend eingesetzt wurden. Von den 139 Arbeiten wurden 19 in indexierten Journals veröffentlicht, 89 in nicht-indexierten Zeitschriften, 19 in Universitätsdatenbanken als „Studentenarbeiten“ gefunden und 12 als Arbeitspapiere, überwiegend auf Preprint-Servern.
Angriffsziele
Bei der Analyse wurde festgestellt, dass viele der KI-generierten Forschungsarbeiten kontroverse Themen behandeln, wie Umwelt, Gesundheit oder Informatik. Insbesondere Umwelt und Gesundheit sind Fachgebiete, in denen Falschmeldungen bzw. Desinformationskampagnen bereits bekannt geworden sind. Man denke nur an die jahrzehntelange Arbeit der Klimaleugner. Die Einschleusung unseriöser Veröffentlichungen in den Wissenschaftsbetrieb stellt ein großes Risiko für die wissenschaftliche Integrität dar. Mithilfe gefälschter Studien kann die Glaubwürdigkeit und die öffentliche Wahrnehmung von Wissenschaftlern unterminiert werden.
Über die Hälfte (57 %) der analysierten KI-generierten Arbeiten behandelten politische Themen, die für Einflussnahme besonders anfällig sind. Die häufigsten Kategorien waren dabei Gesundheit (14,5 %), Umwelt (19,5 %) und Informatik (23 %). Viele Titel solcher Papiere bestehen aus einer Aneinanderreihung von Buzzwords, was sie vordergründig relevant erscheinen lässt und Aktualität suggeriert.
Auch besteht der Verdacht von organisierten Kampagnen. Viele der fragwürdigen Papiere tauchen in mehreren Kopien auf, verteilt über verschiedene Archive, Repositorien und sogar in den sozialen Medien. Bei 20 gesundheitsbezogenen Arbeiten fanden sich diese unter 46 verschiedenen URLs, während die 27 Arbeiten zu Umweltthemen unter 56 verschiedenen URLs auftauchten. Damit folgt die Verbreitung klassischen Desinformationsstrategien. Die Veröffentlichungen lassen sich dadurch kaum wieder entfernen.
Herausforderung für die wissenschaftliche Kommunikation
Die zunehmende Verbreitung solcher Fake-Studien stellt das System der wissenschaftlichen Kommunikation vor neue Herausforderungen. Die Suchmaschine Google Scholar etwa dient der Suche nach wissenschaftlichen Arbeiten. Sie bietet im Wesentlichen aber nur Filtermöglichkeiten nach Text, Autor, Datum und Zeitschrift. Auf diese Weise lässt sich seriöse Wissenschaft nicht von „grauer Literatur“ unterscheiden.
Wissenschaftler, Bibliotheken, politische Entscheidungsträger, NGOs, Institute und auch die Öffentlichkeit müssen sich der Möglichkeit bewusst werden, dass sich Fehlinformationen im Gewand wissenschaftlicher Arbeiten tarnen lassen. Genauso wie Medienkompetenz bei der Entlarvung von Falschinformationen bzw. Desinformationen erforderlich ist, braucht es nun Expertise beim Erkennen von gefälschten Studien.
Mehr dazu:
- Haider, J., Söderström, K. R., Ekström, B., & Rödl, M. (2024). GPT-fabricated scientific papers on Google Scholar: Key features, spread, and implications for preempting evidence manipulation. Harvard Kennedy School (HKS) Misinformation Review. https://doi.org/10.37016/mr-2020-156