Wer lügt, sagt die Wahrheit

Warum die meisten Studien falsch sind - und wann wir ihre Ergebnisse trotzdem anerkennen sollten

Mobiltelefone verursachen Krebs. Wer oft per Handy telefoniert, lebt länger. Rotwein schützt das Herzkreislaufsystem. Häufiger Rotweinkonsum führt bei Frauen zu Magenbeschwerden. Vitamine sind gesund - nein, sie senken die Lebenserwartung. In der medizinischen Forschung ist jede erdenkliche Korrelation schon mindestens einmal einer wissenschaftlichen Studie unterworfen worden - und welches Ergebnis daraus abgeleitet wurde, scheint trotzdem rein zufällig zu sein.

Vor anderthalb Jahren hat der griechische Wissenschaftler John Ioannidis im Medizinjournal PLOS Medicine in einer in der Fachwelt Aufsehen erregenden Studie nachgewiesen, dass deutlich mehr als die Hälfte der veröffentlichten Studien falsch sind. Dazu untersuchte Ioannidis nicht etwa in Form einer Metastudie viele andere Studien (dann wäre seine eigene Studie mit gewisser Wahrscheinlichkeit auch falsch gewesen). Er berechnete, unter welchen Bedingungen ein Forschungsergebnis mit höherer Wahrscheinlichkeit wahr als falsch ist.

Dabei ergaben sich einige interessante Erkenntnisse. Eine scheint dem Spruch „Viele Köche verderben den Brei“ entlehnt: Je mehr Studien sich unabhängig voneinander mit einer Frage befassen, desto geringer ist die Wahrscheinlichkeit, das korrekte Ergebnis zu finden. Anschaulich logisch ist, dass Studien umso seltener wahr sind, je geringer die Anzahl der Testsubjekte und je kleiner die beobachteten Effekte sind. Forschungsfelder, die noch sehr weit und offen sind, erbringen mit höherer Wahrscheinlichkeit falsche Resultate als solche, wo es nur noch eine einzige Hypothese zu prüfen gilt.

Je mehr Freiheit die Wissenschaftler in Bezug auf ihre Studien- und Auswertungsmethoden haben, desto ungenauer arbeiten sie. Tatsache ist aber auch: In Gebieten, die starken finanziellen Verstrickungen unterworfen sind, finden sich häufiger fehlerhafte Studien als in anderen. Und je spannender ein Forschungsgebiet ist, je mehr Teams darin arbeiten, desto seltener sind wahre Ergebnisse zu beobachten.

Wann sollten wir ein Ergebnis als wahr akzeptieren?

Heißt das nun, dass wir am besten auf Forschung ganz verzichten sollten - und was könnte die von Ioannidis berechneten Ergebnisse verbessern? Zwei aktuelle Arbeiten versuchen, darauf eine Antwort zu geben. Zunächst zeigen drei Forscher, dass es ein Gegenmittel für falsche Ergebnisse gibt - und das heißt Wiederholung.

Dabei genügen schon wenige erfolgreiche (und methodisch saubere) Bestätigungen, die Wahrscheinlichkeit eines wahren Ergebnisses deutlich anzuheben. Je unwahrscheinlicher eine Hypothese zu Beginn war, desto öfter ist sie zwecks Bestätigung nachzuprüfen. Leider ist es für einen Forscher keine sonderlich dankbare Aufgabe, die Arbeiten von Kollegen nachzustellen… Den Ruhm darf in der Regel der Erstentdecker für sich beanspruchen.

Eine zweite wichtige Frage, der Forscher in einer aktuellen Arbeit nachgingen: Wann sollten wir ein Ergebnis als wahr akzeptieren?

Es gibt Fälle, bei denen eine konsequente, wissenschaftliche Beendigung eines Experiments unethisch wäre. Man stelle sich einen Arzneiversuch vor: Ein Teil der Versuchsgruppe bekommt das neue Krebsmedikament, die Vergleichsgruppe erhält ein Plazebo. Ab welcher beobachteten Wirkung ist der Prozess abzubrechen, um auch Mitglieder der Vergleichsgruppe mit dem (womöglich gar nicht wirksamen) Medikament zu behandeln? Die Antwort hängt offensichtlich vom Verhältnis zwischen Nutzen und Schaden der möglichen Studienaussage ab. Im Falle des Krebsmedikaments ist zwar der garantierte Nutzen nicht groß, der mögliche Schaden ist aber exorbitant.

Die Forscher wenden ihre Rechnung auf einen Versuch an, der den Vorteil einer kombinierten Radio- und Chemotherapie gegenüber einer reinen Strahlenbehandlung bei Speiseröhrenkrebs belegen sollte. Nachdem in der nur mit Strahlentherapie behandelten Vergleichsgruppe 88 Prozent der Patienten gestorben waren, in der Kombi-Gruppe aber nur 59 Prozent, wurde der Versuch vorzeitig abgebrochen - der Überlebensvorteil lag bei 29 Prozent, während das Sterberisiko bei der Kombi-Behandlung bei nur zwei Prozent lag.

Trotzdem besteht eine hohe Wahrscheinlichkeit, dass die für den Versuch Verantwortlichen einen Fehler begingen, an dieser Stelle abzubrechen - nicht aus menschlicher, wohl aber aus statistischer Sicht, da ihr These nun nicht mit Entschiedenheit als bewiesen betrachtet werden kann.

Ein Problem liegt auch darin, dass Experimente meist mit der Absicht gestartet werden,positive Wirkungen nachzuweisen - die Informationen darüber, welcher Schaden damit verknüpft sein kann, sind dabei oft inkomplett. Das führte in der Vergangenheit zum Beispiel dazu, dass Zehntausende Frauen mit Stammzell-Transplantationen gegen Brustkrebs behandelt wurden - bis größere randomisierte Studien nachweisen konnten, dass dabei im Vergleich zur konventionellen Chemotherapie die negativen Auswirkungen überwiegen.