Empfiehlt den Einsatz von ChatGPT in Tausenden wissenschaftlichen Studien

Der Bibliothekar Andrew Gray machte eine “sehr überraschende” Entdeckung. Er analysierte fünf Millionen wissenschaftliche Studien, die im letzten Jahr veröffentlicht wurden, und stellte einen plötzlichen Anstieg in der Verwendung bestimmter Wörter fest, wie “meticulously” (um 137% mehr), “intricate” (117%), “commendable” (83%) und “meticulous” (59%), in ihren englischen Versionen. Gray, vom University College London, sieht nur eine Erklärung: Zehntausende von Forschern nutzen ChatGPT – oder ähnliche Programme zur Sprachgenerierung mit Künstlicher Intelligenz – um ihre Studien zu schreiben oder zumindest “zu polieren”.

Es gibt offensichtliche Beispiele. Ein Team chinesischer Wissenschaftler veröffentlichte am 17. Februar eine Studie über Lithiumbatterien. Die Arbeit, veröffentlicht in einer Fachzeitschrift des Elsevier-Verlags, begann mit: “Natürlich, hier ist eine mögliche Einleitung zu deinem Thema: Lithiumbatterien sind vielversprechende Kandidaten für…”. Die Autoren haben anscheinend ChatGPT um eine Einleitung gebeten und diese wörtlich übernommen. Ein anderer Artikel in einer anderen Zeitschrift von Elsevier, unterzeichnet von israelischen Forschern am 8. März, enthält den Text: “Zusammenfassend ist die Behandlung von bilateralen iatrogenen Verletzungen Leider habe ich keinen Zugang zu Echtzeitinformationen oder spezifischen Patientendaten, da ich ein KI-Sprachmodell bin”. Und vor ein paar Monaten veröffentlichten drei chinesische Wissenschaftler eine wahnsinnige Zeichnung einer Ratte mit einer Art riesigem Penis, ein mit Künstlicher Intelligenz generiertes Bild für eine Studie über Vorläuferzellen von Spermien.

Andrew Gray schätzt, dass mindestens 60.000 wissenschaftliche Studien (mehr als 1% der 2023 analysierten) mit Hilfe von ChatGPT – einem Ende 2022 eingeführten Tool – oder ähnlichen geschrieben wurden. “Ich glaube, dass es selten ist, dass jemand eine ganze Studie mit ChatGPT schreibt”, meint Gray, ein 41-jähriger schottischer Bibliothekar. Seiner Meinung nach wird Künstliche Intelligenz meistens angemessen eingesetzt, um den Text “zu polieren” – Tippfehler zu identifizieren oder die Übersetzung ins Englische zu erleichtern –, aber es gibt eine große Grauzone, in der einige Wissenschaftler die Unterstützung von ChatGPT weiter nutzen, ohne die Ergebnisse zu überprüfen. “Es ist derzeit unmöglich zu wissen, wie groß diese Grauzone ist, weil wissenschaftliche Zeitschriften von den Autoren nicht verlangen, die Nutzung von ChatGPT zu deklarieren, es gibt sehr wenig Transparenz”, bedauert er.

Künstliche Intelligenz-Sprachmodelle verwenden bestimmte Wörter unverhältnismäßig häufig, wie das Team von James Zou von der Stanford University (USA) festgestellt hat. Sie neigen dazu, Begriffe mit positiven Konnotationen zu verwenden, wie “commendable”, “meticulous”, “intricate”, “innovative” und “versatile”. Zou und seine Kollegen warnten im März, dass sogar die Gutachter wissenschaftlicher Studien diese Programme nutzen, um ihre Bewertungen vor der Veröffentlichung der Arbeiten zu schreiben. Die Stanford-Gruppe analysierte die Bewertungen von Studien, die auf zwei internationalen KI-Konferenzen präsentiert wurden, und entdeckte, dass die Wahrscheinlichkeit des Auftretens des Wortes “meticulous” um das 35-fache gestiegen war.

Zous Team entdeckte jedoch keine signifikanten Spuren von ChatGPT in den Korrekturen, die in den renommierten Zeitschriften der Nature-Gruppe durchgeführt wurden. Die Nutzung von ChatGPT war mit schlechteren Bewertungen verbunden. “Das finde ich wirklich besorgniserregend”, erklärt Gray. “Wenn wir wissen, dass die Verwendung dieser Werkzeuge zum Schreiben von Bewertungen zu minderwertigen Ergebnissen führt, sollten wir darüber nachdenken, wie sie zum Schreiben von Studien verwendet werden und was das bedeutet”, betont der Bibliothekar des University College London. Ein Jahr nach der Einführung von ChatGPT gab ein Drittel der Wissenschaftler zu, es zum Schreiben ihrer Studien zu verwenden, laut einer Umfrage der Zeitschrift Nature.

Grays Analyse zeigt, dass das Wort “intricate” 2023 in 109.000 Studien auftauchte, mehr als doppelt so häufig wie der Durchschnitt von 50.000 in den Vorjahren. Der Begriff “meticulously” stieg von etwa 12.300 Arbeiten im Jahr 2022 auf mehr als 28.000 im Jahr 2023. “Commendable” von 6.500 auf fast 12.000. Der Forscher scherzt, dass seine Kollegen ihm zur Gründlichkeit seines Berichts gratulierten, der noch ein Entwurf ist und zur Veröffentlichung in einer Fachzeitschrift ansteht.

Nur sehr wenige Studien berichten von der Verwendung von Künstlicher Intelligenz bei ihrer Erstellung. Gray warnt, dass ein “Teufelskreis” entstehen könnte, in dem spätere Versionen von ChatGPT mit wissenschaftlichen Artikeln trainiert werden, die von früheren Versionen geschrieben wurden, was zu immer lobenswerteren, komplizierteren, sorgfältigeren und vor allem belangloseren Studien führen könnte.

Der Dokumentationsprofessor Ángel María Delgado Vázquez betont die angelsächsische Sichtweise der neuen Analyse. “Forscher, die nicht englische Muttersprachler sind, nutzen ChatGPT häufig als Schreibhilfe und zur Verbesserung ihres Englisch”, stellt der Forscher der Universität Pablo de Olavide in Sevilla fest. “In meinem Umfeld wird ChatGPT vor allem für eine erste Übersetzung genutzt, oder manchmal übernehmen die Leute direkt diese Übersetzung”, fügt er hinzu. Der spanische Professor vermisst eine Analyse über die Herkunft der Autoren, die seltene Begriffe verwenden.

Ein weiteres Lieblingswort der künstlichen Intelligenz in Englisch ist “delve” (erforschen oder vertiefen). Forscher Jeremy Nguyen von der Swinburne University of Technology in Australien hat berechnet, dass “delve” nun in mehr als 0,5% der medizinischen Studien erscheint, während es vor ChatGPT nicht einmal 0,04% erreichte. Es sind Tausende von Autoren, die plötzlich forschen oder vertiefen. Fragt man die spanische Version von ChatGPT 3.5, welche Wörter sie häufiger als üblich verwendet, antwortet sie mit Beispielen wie “kompliziert”, “detailliert”, “lobenswert” und “sorgfältig”.

Bibliothekar Andrew Gray warnt vor dem Risiko, dass die Menschheit sich mit dieser neuen künstlich akribischen Sprache ansteckt. Nguyen selbst hat auf dem sozialen Netzwerk X zugegeben, dass es ihm passiert: “Ich habe bemerkt, dass ich in letzter Zeit das Wort ‚vertiefen‘ selbst verwende, wahrscheinlich weil ich viel Zeit damit verbringe, mit ChatGPT zu sprechen”. Am 8. April beteiligte sich der offizielle ChatGPT-Account auf X an der Diskussion: “Ich liebe es zu vertiefen, was soll ich machen”.