Stanford-Studie: Sind harte Lockdowns sinnlos?
Das Urteil der Experten fiel ziemlich vernichtend aus. Gemessen an der üblicherweise nüchternen Sprache der Forschungswelt sind es durchaus harsche Worte, die das Fazit eines Montag dieser Woche publizierten Fachartikels bilden: Darin werden einer Studie "schwerwiegende methodische Mängel" ebenso attestiert wie "systematische Fehler im Design". Hinzu käme eine teils willkürliche und nicht nachvollziehbare Datenauswahl sowie ein generell "hohes Risiko für Verzerrungen". Abschlussempfehlung: Die derart bewertete Studie "sollte nicht als Grundlage für Entscheidungen verwendet werden".
Dieses wenig schmeichelhafte Zeugnis trägt den Titel "Covid-19-Pandemie: Sind harte Lockdowns unwirksam?" und stammt von einer Gruppe internationaler Wissenschafter: Darunter sind das Institut für Medizinische Informationsverarbeitung der Ludwig-Maximilians-Universität München, das Leibniz-Institut für Präventionsforschung und Epidemiologie in Bremen sowie das Department für Evidenzbasierte Medizin und Evaluation der Donau-Universität Krems. Dieses Institut ist zugleich die Österreich-Niederlassung von Cochrane - jener wissenschaftlichen Organisation, die Qualität und Aussagekraft medizinischer Studien nach genormten Kriterien prüft und als Instanz auf diesem Gebiet anerkannt ist. Im konkreten Fall nahm das Expertenteam eine Studie unter die Lupe, die derzeit für gewaltiges Aufsehen sorgt. Sie heißt "Assessing mandatory stay-at-home and business closure effects on the spread of Covid-19" und stammt von Autoren der renommierten Stanford University. Umso verblüffender, dass gerade diese Arbeit als methodisch so schlecht beurteilt wird, dass Cochrane davor warnt, daraus überhaupt irgendwelche Schlüsse zu ziehen oder Aussagen abzuleiten. Doch das Echo darauf war so groß wie selten zuvor: Vor allem in sozialen Medien wurde die Arbeit umfassend ausgebreitet und als Beweis angeführt, dass Lockdowns sinnlos seien. "Besonders Corona-Zweifler und Querdenker haben die Arbeit aufgegriffen", sagt Gerald Gartlehner, Leiter von Cochrane Österreich. Dieser Szene dient sie nun als beliebtes Argument, um gegen restriktive Maßnahmen zu wettern. Immerhin liefert die Uni Stanford Munition dafür.
Massive Aufmerksamkeit für Stanford-Studie
Mittlerweile wurden mehr als 26.000 Tweets gezählt, die sich darauf bezogen, und der sogenannte "Altmetric score" liegt derzeit bei über 17.000. Dieser Gradmesser erhebt die Aufmerksamkeit und Resonanz, die eine Studie erhält, wobei nicht nur - wie bei konventionellen Impakt-Erhebungen - Zitate aus der akademischen Welt berücksichtigt werden, sondern beispielsweise auch Erwähnungen in Medien und auf Web-Plattformen. Zum Vergleich: Keine Cochrane-Publikation überschritt je eine Punktezahl von 5000.
Als selbst praktische Ärzte immer öfter ratlos waren, weil zornige und der Lockdowns überdrüssige Patienten triumphierend mit der Stanford-Studie wedelten, ersuchten sie Cochrane um eine fachliche Bewertung des vermeintlich allen bisherigen Annahmen widersprechenden Papers. Das Ergebnis wurde nun in der "Zeitschrift für Allgemeinmedizin" veröffentlicht und besagt, dass die Arbeit der US-Kollegen schlicht wertlos ist: Die Studie liefere "keine belastbare Evidenz für oder gegen die Wirksamkeit von restriktiven nicht-pharmakologischen Maßnahmen". Die Autoren sind also gar nicht in der Lage, die eigene Frage zu beantworten, ob Lockdowns nützlich sind oder nicht, weil ihre Methoden dafür nicht geeignet sind.
Nun könnte man einwenden, verschiedene Experten verträten einfach unterschiedliche Ansichten, und es sei letztlich Interpretationssache, welcher davon man eher zuneige. Das trifft aber nicht zu: Damit es eben nicht Geschmacks- oder Meinungsfrage bleiben muss, welcher Position man den Vorzug gibt, hat sich über lange Zeit ein rigides, staubtrockenes Bewertungsraster durchgesetzt, das heute allgemein akzeptiert ist. Damit lässt sich beurteilen, ob die international geforderten Qualitätsstandards im Design einer Studie erfüllt wurden oder nicht. Dazu zählen zum Beispiel folgende Kriterien: Ist die Datenerhebung nachvollziehbar? Werden Methoden und statistische Modelle hinlänglich erläutert? Sind die verglichenen Daten überhaupt vergleichbar? Oder werden gleichsam Äpfel Birnen gegenübergestellt? Werden Lücken in den Daten berücksichtigt oder lässig ignoriert? All das kann gravierende Verzerrungen ergeben. In Summe wird keine Aussage über die Inhalte einer Studie getroffen, sondern über die handwerkliche Qualität.
Verzerrungsrisiko "hoch"
Im konkreten Fall nahm das Forscherteam eine Bewertung in sieben Kategorien vor. In vier davon wurde das Verzerrungsrisiko - also die Anfälligkeit für Fehler und Trugschlüsse - als "hoch" eingestuft, in einer als "moderat", zwei Mal wurde wegen Datenmangels "unzureichende Information" notiert. Einige Kritikpunkte beziehen sich auf die Vergleiche von Lockdown-Maßnahmen verschiedener Länder im Frühjahr 2020, was aber ein schwieriges Unterfangen ist, da Art und Ausmaß dieser Maßnahmen von Land zu Land teils sehr unterschiedlich waren - genauso wie die Bereitschaft der jeweiligen Bevölkerung, die Maßnahmen mitzutragen. Wenn man solche lokalen Unterschiede - etwa zwischen Deutschland, Südkorea und dem Iran - aber nicht sauber herausrechnet , ist das Ergebnis wenig gehaltvoll. Warum, andererseits, wurden eher willkürlich zehn Länder ausgewählt, aber just jene ausgespart, die nach harten Lockdowns die Pandemie nahezu erstickt haben, etwa Neuseeland und Australien? Und wenn man schon Schweden einbezieht, warum dann kein Vergleich mit anderen skandinavischen Ländern wie Dänemark oder Norwegen? Hinzu kamen formale Einwände: fehlende Daten, unzureichende Definition von Lockdown-Maßnahmen, nicht existentes Studienprotokoll, statistische Störfaktoren. Insofern sei die abschließende Aussage der Stanford-Forscher unzulässig, wonach man "keine signifikanten Vorteile auf das Fallwachstum" durch harte Maßnahmen gefunden habe.
Etwas verstörend ist, dass die Arbeit unter Patronanz eines der renommiertesten Epidemiologen entstand: John Ioannidis, der als ausgewiesene Koryphäe auf seinem Gebiet gilt und vor Jahren sogar von Cochrane zu Vorträgen nach Österreich eingeladen wurde. "Man versteht nicht, wie er in so ein Fahrwasser geraten ist, denn grundsätzlich schätze ich ihn sehr", sagt Gartlehner. Allerdings fiel Ioannidis schon vor einigen Monaten durch Arbeiten zur Coronavirus-Pandemie auf, die von Kollegen wegen fragwürdiger Methodik scharf kritisiert wurden. Womöglich treibt auch solch eine Kapazität der zutiefst menschliche Wunsch, alles sei ohnehin halb so wild und die gegenwärtige missliche Situation daher gar nicht erforderlich.
Treppenwitz der Geschichte: Erstmals weltweit bekannt wurde Ioannidis 2005 mit einer Methodenkritik an der Arbeit der restlichen Fachwelt. Sein damaliger Artikel trug den passenden Titel: "Why Most Published Research Findings are False."
