Misstrauen immer mehr Menschen der Wissenschaft zu Recht?
Zu Beginn dieses Textes eine Warnung: Es werden hier Modaltäten wissenschaftlichen Publizierens debattiert, Methoden der akademischen Welt und Fragen der Forschungsethik. Es kommen Begriffe vor wie Peer Review, Preprint und Retraction. Es geht um interne Gepflogenheiten einer Branche, mit der die meisten Menschen kaum je in Berührung geraten. Sie sehen im Regelfall nur die Ergebnisse, üblicherweise knapp zusammengefasst: eine neue Studie über ein Herzmedikament, die Folgen ungebremster Kohlendioxidemissionen, eine Arbeit über den Nutzen fettarmer Ernährung. In den ersten beiden Jahren der Coronavirus-Pandemie erreichten uns Resultate aus der Wissenschaft in besonders dichter Abfolge. Sie untersuchten den Nutzen von Lockdowns, Impfungen oder Therapeutika.
Es sei gestattet, einen Blick hinter die Kulissen anzubieten. Furchtbar abstrakt, ja. Darum schnell ein Versprechen: Es lohnt, einige Leseminuten mit diesem Thema zu verbringen. Denn es betrifft uns unmittelbar. Es geht um eine Frage, die mehr oder minder unterschwellig im Raum steht: Dürfen wir der Wissenschaft vertrauen? Sind all die Studienergebnisse, die wir serviert bekommen, glaubwürdig und tauglich, unser Leben nach ihnen auszurichten?
Von Relevanz ist dabei vor allem ein Begriff: Retraction. Eine Retraction ist der Albtraum aller Forschenden und Wissenschaftsjournale. Letztere stellen jenes Forum dar, in dem neue Forschungsergebnisse veröffentlicht werden. Wissenschafterinnen und Wissenschafter müssen dort publizieren, um wahrgenommen zu werden. Pointiert: Was nicht in einem Fachjournal erscheint, existiert de facto nicht. Umso größer ist die Schmach, wenn eine Veröffentlichung mit dem Terminus „retracted“ markiert wird: Das heißt, dass sie zurückgezogen wurde, entweder vom Autorenteam selbst oder vom Journal. Es ist ein großer Schritt, zu dem die Wissenschaft üblicherweise nur im äußersten Fall bereit ist: wenn eine Arbeit ohne Zweifel fehlerhaft ist oder, noch schlimmer, bewiesen werden konnte, dass Daten manipuliert wurden.
Die bloße Autorität angesehener Wissenschafter reicht als Qualitätsmerkmal nicht mehr, und das ist gut so.
In den vergangenen beiden Jahren schien eine wahre Flut an Retractions um die Welt zu rauschen – in einem Ausmaß, das den Verdacht nahelegte, das akademische System verdiene jenes tiefe Misstrauen, das ihm eine erhebliche Zahl der Menschen heute entgegenbringt. Einige Beispiele aus den vergangenen Monaten: ein Journal des renommierten Springer-Nature-Verlages zog auf einen Schwung 51 Papers, also wissenschaftliche Artikel, zurück; ein Verlag mit Fokus auf physikalische Themen zog sogar 494 Papers aus dem Verkehr; eine führende multidisziplinäre Online-Zeitschrift kündigte Retractions von mehr als 100 Veröffentlichungen an; ein Journal für Krebsvorsorge nahm neun Fachartikel vom Markt; ein Journal des Wissenschaftsverlags Elsevier zog 47 Artikel zurück.
Besonders im Zusammenhang mit Publikationen zu Covid-19 kam es zu Massen-Retractions: knapp 300 Veröffentlichungen zum Thema mussten seit 2020 wegen verschiedenster Mängel zurückgezogen werden, darunter einige Dauerbrenner der öffentlichen Debatten – Arbeiten, die zu heftigen Kontroversen führten und Maßnahmengegnern einen Gutteil ihrer Munition lieferten: etwa über die Schutzwirkung von FFP2-Masken oder die angeblich vernachlässigbare Infektiosität von Kindern. Wegen grober Mängel zurückgezogen wurde aber auch eine Studie vom Juni 2021, die fälschlich behauptete, Covid-Impfungen würden doppelt so viele Menschen töten wie sie retten.
Dasselbe Schicksal ereilte fast alle Publikationen über Ivermectin, jenes Parasiten- und Entwurmungsmittel, das eine Zeitlang beinahe als Wunderkur gegen Covid gegolten hatte. Politiker wie Herbert Kickl wurden nicht müde, die Werbetrommel für Ivermectin zu rühren. Es folgte ein bizarrer Hype, Zollfahnder registrierten eine erhebliche Zahl illegaler Importe. Heute wissen wir: Das Präparat ist zur Covid-Therapie völlig ungeeignet. Unter den vielen mittlerweile zurückgezogenen Arbeiten sind auch glatte Fälschungen: Teils wurden Patientendaten nach dem Prinzip copy & paste in den Text eingefügt, um Patienten vorzugaukeln, die gar nicht existierten.
Freilich enthielten längst nicht alle Studien Manipulationen. Häufig handelte es um „ehrliche“ Irrtümer. Hinzu kamen alle Schattierungen echter Schummeleien: von kleinen Tricks bei der Datenaufbereitung bis zum geplanten Betrug mithilfe sogenannter „Paper Mills“. Dabei handelt es sich um Studienfabriken, oft mit Sitz in Russland, China oder Iran, die gegen gutes Geld jeden erwünschten Fachartikel fabrizieren.
Wie aber ist diese Menge an Retractions zu bewerten? Stellt sie eine chronische Blamage für die globale Wissenschaft dar? Müssen wir davon ausgehen, dass wir kaum etwas von dem glauben dürfen, was Forschende berichten?
Dieser Text stellt die These auf, dass es keine generelle Krise der Wissenschaft gibt. Und dass der Umstand, dass laufend Retractions bekannt werden, sogar eine gute Nachricht ist.
Bleiben wir noch kurz beim Beispiel Covid. Rund 300 Fachartikel wurden zurückgezogen, doch im selben Zeitraum publizierte die internationale Fachwelt beinahe 300.000 wissenschaftliche Arbeiten, so viele wie noch nie zu einem bestimmten Thema in so kurzer Zeit. Es wurden somit etwa 0,1 Prozent der Veröffentlichungen zurückgezogen. Selbst wenn, was wahrscheinlich ist, noch eine ordentliche Zahl an Reractions hinzukommen sollte, handelt es sich nicht um eine erschreckend hohe Fehlerrate. Interessanterweise treffen fast identische Werte auf die Wissenschaft in ihrer Gesamtheit zu. Pro Jahr erscheinen zirka zwei Millionen Papers in rund 30.000 akademischen Journalen. Die Quote der Retractions quer durch die Disziplinen betrug zuletzt 0,09 Prozent, war also ähnlich hoch wie bei den Covid-Papers.
Allerdings: Diese Rate ist in den vergangenen 20 Jahren merklich gestiegen. Im Jahr 2002 lag sie bei 0,01 Prozent, 2012 bei knapp 0,05 Prozent, nochmal ein Jahrzehnt später war sie annähernd doppelt so hoch. Wie alarmierend ist diese Entwicklung?
Viel deutet darauf hin, dass heute einfach weitaus genauer hingesehen wird und schludrige oder skrupellose Forschende eher enttarnt werden. Vor genau zehn Jahren wurde die Plattform Retraction Watch gegründet, die es sich zur Aufgabe gemacht hat, Manipulationsvorwürfen akribisch nachzugehen, Forschende mit unangenehmen Fragen zu traktieren und die Resultate der Recherchen zu veröffentlichen (auf retractionwatch.com). Momentan umfasst ihre Datenbank mehr als 36.000 Einträge, wobei sich der erste auf eine Arbeit aus dem Jahr 1756 bezieht: eine Analyse von Schriften Benjamin Franklins, leider eine fehlerhafte.
Nein, früher war nicht alles besser. Praktisch jeder, der vor Jahrzehnten Einblick in die Forschungslandschaft hatte, erinnert sich an die Einführung früher computerisierter Statistikmodelle. Diese konnte man so lange über beliebige Forschungsdaten laufen lassen, bis die Software irgendein signifikantes Ergebnis ausspuckte. Um diesen Zufallstreffer bastelte man dann eine hübsche Forschungshypothese – und fertig war das Paper. Würde man all diese Arbeiten heute penibel prüfen, gäbe es vermutlich permanenten Retraction-Alarm.
Eigentlich existiert ein System der Qualitätssicherung, das Schlamperei, Fehler oder Tricksereien verhindern sollte. Das ist die sogenannte Peer Review. Glauben Forschende, eine wichtige Entdeckung gemacht zu haben, verfassen sie darüber einen Fachartikel und reichen diesen bei einem möglichst bedeutenden Fachjournal ein. Vor der Veröffentlichung lässt das Journal den Fachartikel von Peer Reviewern prüfen, einer Expertengruppe des jeweiligen Fachgebiets, die die Plausibilität und Stimmigkeit der Arbeit anonym kontrolliert.
Die Peer Review gilt als Goldstandard, und jede Arbeit in einem guten Journal hat heute diesen Prozess durchlaufen. Dennoch gibt es daran Kritik. Schließlich gelingt es offenkundig nicht immer, fehlerhafte oder gefälschte Aufsätze zu entdecken. Die Gründe sind mannigfaltig: Die enorm gestiegene Zahl der Publikationen in immer segmentierteren Fachbereichen ist einer davon. Die Gutachter, die ihrerseits unter höherem Druck arbeiten als früher, müssen somit immer mehr Texte aus komplexen Sparten in weniger Zeit kontrollieren – und zwar unbezahlt, denn die Journale honorieren diesen Job nicht.
Hinzu kommt, dass sich die Peer Review, ein wenig Kaltschnäuzigkeit vorausgesetzt, durchaus aushebeln lässt. Im Extremfall begutachteten Studienautoren ihre eigenen Texte, indem sie, teils mit gefälschten Mail-Adressen, den Prozess der Bestellung der Peer Reviewer beeinflussten.
Doch auch im Hinblick auf den Begutachtungsprozess gibt es gute Nachrichten, und hier kommen die Begriffe PubPeer und Preprints ins Spiel. Immer mehr Wissenschafterinnen und Wissenschafter gehen dazu über, ihre Fachartikel nicht bei einem traditionellen Fachjournal einzureichen, sondern frei zugänglich auf einen sogenannten Preprint-Server zu laden – als nicht begutachtete Vorabveröffentlichung. Das Modell existiert in kleinem Maßstab seit Beginn der 1990er-Jahre, als Astrophysiker die Idee hatten, auf diese Weise ihre jüngsten Forschungsergebnisse untereinander auszutauschen. Den wahren Schub erlebten Preprints mit der Pandemie: Plötzlich wurden Portale wie bioRxiv regelrecht geflutet. Mindestens ein Fünftel aller Fachartikel zum Thema Covid wurde auf bioRxiv und ähnlichen Plattformen publiziert.
Mitten in der medizinischen Krise war dieses Prozedere enorm hilfreich. Das klassische Publikationssystem samt Peer Review ist äußerst behäbig, bis zu einer Veröffentlichung verstreichen Monate. Geht ein unbekanntes Virus um die Welt, braucht man aber möglichst schnell Information – und die bündelten die Preprint-Server. Was immer Forschende herausfanden, stellten sie flott online, und die gesamte Fachwelt konnte sofort darauf zugreifen, die Plausibilität der Daten prüfen und darauf aufbauen, um weitere Forschungen anzustoßen. Das führte zu einem Wissenszuwachs, der einzigartig in der Geschichte der Menschheit war.
Natürlich wurde und wird gemäkelt, dass die derart veröffentlichten Daten mit Vorsicht zu genießen seien, weil ja eben noch keine Peer Review stattgefunden habe. Doch der Einwand greift nur bedingt: Zum einen sind die Schwächen der herkömmlichen Begutachtung evident, zum anderen etablierte sich durch die Publikation auf Preprint-Servern eine neue Form der Peer Review: Nun begutachtet plötzlich die ganze Wissenschaftswelt gemeinschaftlich. Es hat sich eine „Public Review“ entwickelt, eine PubPeer.
Ein Resultat ist, dass Fehlerhaftes schneller entdeckt und entfernt wird als früher. Beispiel: Zu Beginn der Pandemie entstand ein Hype um das Präparat Hydroxychloroquin, nicht zuletzt deshalb, weil Donald Trump es heftig anpries. Es gab auch wissenschaftliche Veröffentlichungen dazu, etwa auf dem Server medRxiv – doch es dauerte nur wenige Wochen, bis den Autorenteams Fehler nachgewiesen wurden und das Medikament als Covid-Therapie ausschied. Zum Vergleich: Bis zur vielleicht berühmtesten Retraction in einem klassischen Fachmagazin dauerte es zwölf Jahre. Dies war jene Fälschung, in der ein Zusammenhang zwischen der Masernimpfung und Autismus behauptet wurde.
Insgesamt lässt sich mit einigem Recht argumentieren: Der Umstand, dass in jüngerer Vergangenheit wissenschaftliches Fehlverhalten vermehrt beobachtet und debattiert wurde, ist ein positives Signal – als Folge der Tatsache, dass neue Regulative und Kontrollinstanzen entstanden, die erhebliche Reinigungskraft entfalten. Die bloße Autorität angesehener Wissenschafter reicht als Qualitätsmerkmal nicht mehr, und das ist gut so.
Alles in Ordnung also? Natürlich nicht. Unter Garantie schlummern noch Unmengen fehlerhafte Papers in der Literatur. Die Zahl der Retractions sei zwar deutlich gestiegen, doch längst nicht in ausreichendem Maß, konstatierte im vergangenen August Ivan Oransky, einer der Gründer von Retraction Watch, in einem Kommentar im Fachjournal „Nature“. Und wies auf ein weiteres Problem hin: Oft würden zurückgezogene Fachartikel weiterhin zitiert, sie geistern als „Zombie-Papers“ nach wie vor durch die Fachliteratur. Eine Studie unter 400 Anästhesisten zeigte, dass fast 90 Prozent der Mediziner längst aus dem Verkehr gezogene Arbeiten zitierten – und damit die eigene Forschung auf fehlerhafte Daten gründeten. Den Rekord an Zitierungen nach der Retraction hält übrigens die besagte Autismusstudie mit 867 – gefolgt von einem Paper, das von den angeblichen Vorzügen der mediterranen Diät berichtete.
Dennoch: Was wir im Moment sehen, ist ein solider Reinigungsprozess. Darf man der Wissenschaft vertrauen? Gewiss nicht weniger als früher - mit einiger Wahrscheinlichkeit sogar mehr.
