Unzutreffend, aber schmerzhaft: Der Open-Access-Sting der Zeitschrift Science

Fehlende Qualitätssicherung bei Open-Access-Zeitschriften? Eine Replik auf John Bohannons "Who is afraid of Peer Review?"

Ein am vergangenen Freitag im Wissenschaftsmagazin Science publizierter Artikel John Bohannons spukt derzeit durch Websites, Mailinglisten und Foren, deren Thema das wissenschaftliche Publizieren ist sowie durch Publikumsmedien, wie den Spiegel oder den Economist. Bohannons Text Who is afraid of Peer Review? wurde auch in Telepolis besprochen (Offen für Alles) und schlägt hohe Wellen: Unterminiert er doch die Glaubwürdigkeit von Open Access, der entgeltfreien Zugänglichkeit wissenschaftlicher Information. Der Artikel entfaltet seine Wirkung vor allem, weil er in einer Zeitschrift publiziert wurde, die als eines der Flaggschiffe der Wissenschaft gilt, und seine Wirkung folglich vom Abglanz der Wissenschaftlichkeit herrührt - anders lässt sich die gutgläubige und unhinterfragte Übernahme von Bohannons Elaborat kaum erklären.

Methodik & Wissenschaftlichkeit

Gerade die Wissenschaftlichkeit muss man Bohannons Artikel jedoch absprechen. Nicht zufällig erschien sein Beitrag nicht als wissenschaftlicher Artikel in Science, sondern als News, als journalistischer Beitrag. Ein Detail, das in der wissenschaftlichen und journalistischen Diskussion, die er auslöste, untergeht.

Im Laufe von zehn Monaten schickte Bohannon, getarnt als wissenschaftlicher Autor, eine jeweils leicht modifizierte, fingierte und schein-wissenschaftliche Einreichung an insgesamt 304 Open-Access-Journale, von denen sie 157 zur Publikation akzeptierten, 98 sie ablehnten und von 49 die Rückmeldung aussteht. Bohannon interpretiert diese Ergebnisse als Signal der schwachen wissenschaftlichen Integrität des Open Access Publizierens: "And the acceptances and rejections of the paper provide the first global snapshot of peer review across the open-access scientific enterprise."

Bohannon diagnostiziert kurzum, dass im Open Access die wissenschaftliche Qualitätssicherung (die meist via Peer Review gewährleistet werden soll) per se schlechter gelinge, als bei konventionellem Publizieren im Closed Access, bei dem Leser oder Bibliotheken für die Nutzung wissenschaftlicher Literatur zahlen.

Die Analyse von Bohannons Methodik muss eine kurze Darstellung der beiden gebräuchlichen Open-Access-Strategien zulassen: Zum einen werden im sogenannten Green Open Access wissenschaftliche Publikationen, die bereits in einem Verlag erschienen sind oder deren zukünftiges Erscheinen dort feststeht, über Open-Access-Server (die sogenannten Repositories) Lesern entgeltfrei zugänglich gemacht.

Beim Gold Open Access werden Dokumente primär in echten Open-Access-Verlagen oder Open-Access-Journals publiziert und, anders als im Green Open Access, nicht erst in einer Art Zweitverwertung den Lesern entgeltfrei verfügbar gemacht.

Von diesen Open-Access-Zeitschriften finanzieren sich einige über Publikationsgebühren. Die Kosten zum Betrieb der Publikationsinfrastruktur werden in solchen Fällen aus Zahlungen die gedeckt, die durch Fördereinrichtungen, Hochschuleinrichtungen oder einzelne Forschern erbracht werden. Allerdings verlangen nur 26% der im zentralen Register, dem Directory of Open Access Journals (DOAJ), gelisteten Journals solche, auch als Article Processing Charges (APC) bekannten, Gebühren. Zudem weist die Höhe der APC in diesen Journals eine gehörige Spannbreite von zwischen 8 und 3.900 US-$ (im Durchschnitt ca. 900 US-$) auf.

Folglich stellen ACPs für bei weitem nicht alle Zeitschriften einen substantiellen Finanzierungsbeitrag dar. Bohannons Statement: "open-access scientific journals have mushroomed into a global industry, driven by author publication fees", ist demnach unzutreffend, zumal er Zeitschriften ausklammert, die Gebühren für die Artikeleinreichung (Submission Fees) veranschlagen, aber nicht für das Publizieren der Texte. Dennoch unterstellt er, die Finanzierung von Open-Access-Zeitschriften via APCs diskreditiere die Qualität von Open Access per se, allerdings ist einiges kritisch anzumerken:

• Der Autor ignoriert einen ganzen Open-Access-Zweig: Im Green Open Access existieren keine APCs. Dabei ist der Green Open Access quantitativ sogar dominanter als Gold Open Access - 2009 wurden laut einer Untersuchung von Björk, Welling, Laakso, Majlender, Hedlund & Guðnason ca. 20% aller wissenschaftlichen Artikel Open Access bereitgestellt, darunter 12% im Green Open Access und 8,5% im Gold Open Access. Die von Science initiierte Diskussion klammert einen beträchtlichen Anteil an Open Access völlig aus. [Ergänzung: Dabei sehen manche Wissenschaftler, wie Stevan Harnad, Green Open Access als einzig wahres Modell freier Zugänglichkeit wissenschaftlicher Informationen an, wohingegen dieser bei Closed Access Verlagen meist nicht sonderlich gut gelitten ist: Schließlich ermöglicht das Open Access Stellen bereits von ihnen publizierter Artikel keine Einnahmen. Daher gehen immer mehr dieser Verlage zum Anbieten eigener Open Access Zeitschriften über und versehen diese regelmäßig mit hochpreisigen APCs].
• Das Ergebnis seines Vorgehens war präjudiziert: In der Open-Access-Community wird sehr transparent mit Verlagen umgegangen, die Qualität gegenüber Einkünften aus APCs hintanstellen. So führt der Bibliothekar Jeffrey Beall seit Jahren eine Liste der Predatory Open Access Publishers, die Auskunft über solche Open-Access-Zeitschriften gibt, die APCs einstreichen und geringe Qualitätskriterien anlegen. Wenn Bohannon nun für seine Wallraffiade einen Fake-Artikel aber bei 121 Zeitschriften aus Bealls Liste als unseriös eingestufter Verlage einreicht, dürfte das Ergebnis wenig überraschend sein. Dies umso mehr, als solche kritisierten Verlage sich bevorzugt außerhalb der USA oder Europas finden und Bohannon seine Auswahl auf APC-finanzierte Journals aus dem DOAJ, zuzüglich der Zeitschriften aus Bealls Liste beschränkte.
• Die Erhebung ist schlecht gemacht. Um die Beschaffenheit und Qualität der Peer Review zu erfassen, wäre es nötig gewesen, diese auch bei einer Kontrollgruppe aus Nicht-Open-Access-Zeitschriften, also aus Closed-Access-Journals, zu messen. Weiterhin hätte er in jedem Fall die Auswahl der Zeitschriften für Experimental- und Kontrollgruppe nach nachvollziehbaren methodischen Verfahren und Begründungen durchführen müssen, am einfachsten per Randomisierung. Oder er hätte versuchen können, den Anteil der unseriösen Open-Access-Zeitschriften an allen Open-Access-Zeitschriften zu ermitteln, allerdings hätte dies eine Totalerhebung und ein wiederum nachvollziehbares methodisches Verfahren verlangt. Im Falle einer Fokussierung auf Open-Access-Zeitschriften und des Verzichts auf eine Kontrollgruppe an Closed-Access-Zeitschriften hätte Bohannon weiterhin Zeitschriften aus Bealls Liste und dem DOAJ getrennt untersuchen müssen. Auf keinen Fall jedoch lässt sich eine sinnvolle Aussage über die Verbreitung unseriöser Publikationspraktiken treffen, wenn das Untersuchungssample bereits zu 40% aus Zeitschriften besteht, deren Unseriosität öffentlich bekannt ist.

Der Autor reduziert Open Access also auf eine seiner Spielarten, den Gold Open Access. Von diesen Open-Access-Zeitschriften wiederum betrachtet er nur solche Publikationsangebote, die APCs kennen, und unterstellt allgemein, eine Finanzierung durch APCs berge die Gefahr einer minderen Qualitätssicherung.

Anschließend wählt er für seine Untersuchung zu einem Gutteil solche Zeitschriften aus, deren Seriosität öffentlich als strittig oder gar nicht gegeben betrachtet wird und kommt zum wenig überraschenden Ergebnis, Open-Access-Zeitschriften litten unter schlechter Qualitätssicherung. Das Vorgehen als Forschungsdesign zu bezeichnen wäre stark übertrieben, es ist zirkulär, nicht wissenschaftlich und trägt alle Züge einer Self-Fulfilling Prophecy.

Anders kann man es kaum beschreiben, wenn Bohannon feststellt, dass 82% der von Beall als unseriös eingestuften Journals das Fake-Paper akzeptierten - es überrascht fast eher, dass 18% es nicht annahmen.

Schlimmer noch: Gunther Eysenbach, Herausgeber des Journal of Medical Internet Research, einer Open-Access-Zeitschrift mit mehr als respektablen Zitationsraten, berichtet auch diesem sei Bohannons Einreichung zugegangen - dennoch erscheine das Journal nicht in den Daten-Supplements zum Science-Artikel, dafür fänden sich dort aber mehrere Zeitschriften, die gar keine APCs erheben. Bohannon behauptet jedoch, solche Zeitschriften nicht berücksichtigt zu haben.

Grotesker Weise wird ein derart unwissenschaftlicher Artikel nun in der Wissenschaftswelt zum Anlass genommen, Open Access zu diskreditieren, begünstigt durch eine weithin oberflächliche Rezeption und Kommentierung.

Während Bohannon die Frage nach der Qualität von Open Access (speziell Open-Access-Zeitschriften) stellt und diese massiv anzweifelt, wäre es sinnvoller, die Frage nach den Effekten von Peer Review und der Verteilung der Autorengebühren generell, sowohl für Open Access als auch Closed Access Journals, zu stellen. Schließlich wittert Bohannon unausgesprochen im Modell der APCs die Ursache schlechter Qualitätssicherung, verengt seine Aussagen aber überraschenderweise auf eine schlechte Qualität von Open-Access-Zeitschriften.

Peer Review

Das Lancieren gefälschter, offensichtlich unsinniger und schein-wissenschaftlicher Artikel in wissenschaftlichen Zeitschriften und Konferenzbänden hat Geschichte und betrifft nicht nur Open Access.

Gerade in der Informatik macht man sich daraus geradezu einen, die Qualität von Peer Review hinterfragenden Sport - man kann sich sogar online sein individuelles Fake-Paper erstellen lassen. Aber auch in anderen Fächern wurde Peer Review düpiert. Diese Tradition geht weit zurück in die Zeit vor Open Access. Generell scheint die Sicherung der Qualität durch Peer Review schwierig und unterwanderbar.

Der Wissenschaftsforscher Gerhard Fröhlich berichtet seit Jahren, unter anderem in Peer Review auf dem Prüfstand der Wissenschaftsforschung, von den Mängeln des Verfahrens. Als ein Beispiel unter vielen nennt er dort eine Studie von Peters & Ceci. Die Autoren hatten in zwölf Psychologiezeitschriften Artikel nochmals (leicht verändert und unter neuem Verfassernamen) eingereicht, die diese bereits publiziert hatten. Fröhlich fasst die Ergebnisse ernüchternd zusammen:

Nur 3 von 12 Herausgebern bzw. Redaktionskollegien - genauer: nur 3 von 38 Herausgebern bzw. Referees - erkannten die in ihren Journals vor 1 1/2 bis 3 Jahren bereits publizierten Aufsätze wieder. Die übrigen erneut eingereichten Aufsätze wurden erneut der üblichen Bewertungsprozedur ausgesetzt. Das Ergebnis: Nur ein einziger Beitrag wurde angenommen. 8 von 9 bereits publizierten Beiträgen wurden aufgrund negativer Gutachten abgelehnt, v. a. mit dem Hinweis auf "schwerwiegende methodologische Mängel".

Und Josh Fischmann beschrieb bereits vor über einem Jahr unter dem Titel "Fake Peer Review, the Latest Form of Scientific Fraud, Fool Journals" im Chronicle of Higher Education (CHE) gar dies: Wissenschaftsverlage gehen dazu über, die Autoren selbst Gutachter zur Prüfung des von ihnen eingereichten Artikels vorschlagen zu lassen.

Da diese Vorschläge bei manchen Verlagen anscheinend kaum überprüft werden, gelang es Wissenschaftlern unter Pseudonymen oder durch Idenditätsdiebstahl ihre Einreichungen selbst zu reviewen und zur Publikation freizugeben. Betroffen waren unter anderem Closed-Access-Zeitschriften wie Pharmaceutical Biology, Experimental Parasitology sowie andere teils (ebenfalls wie Experimental Parasitology) vom Verlagsriesen Elsevier herausgegebene Journals.

Die Verlage unterließen nicht nur das Überprüfen der vorgeschlagenen Reviewer, schlimmer noch: Manipulierende Autoren konnten Identitäten realer Experten kapern, in dem sie fiktive Mailadressen mit deren Personennamen als Präfix bei öffentlichen Mailaccountanbietern wie Google Mail oder Yahoo Mail erstellten und diese Mailadressen nutzten, um sich selbst als Accountinhaber unter dem Namen eines echten Experten als Reviewer vorzuschlagen.

Eine Überprüfung der Authentizität der Mailaccounts blieb aus. Der einschlägig bekannte Verlag Elsevier publizierte einst sogar sechs komplette Fake Journals, die im Wesentlichen reine Werbeflächen für Pharma-Konzerne waren und, obwohl offiziell peer-reviewed, keine Qualitätssicherung kannten.

Auch Science selbst oder Nature, Trutzburgen des Closed Access Publishing, wurden wiederholt unkorrekte und gefälschte Artikeleinreichungen untergejubelt und von den Reviewern zu Publikation angenommen. Science publizierte unter anderen Artikel Hwang Woo Suks, des Stars und Meisterfälschers der Klonforschung.

Während Bohannon den Open-Access-Zeitschriften unterstellt, sie machten Profit, indem sie Einreichungen nur lax prüfen, um für die Publikation vieler Artikel APCs kassieren zu können, krankt, das belegen die exorbitant hohen Zahlen an aufgrund wissenschaftlicher Fehler zurückgezogener Artikel, der Closed Access mitunter am Sensationsprinzip.

Wissenschaftliche Zeitschriften sind umso wertvoller (und für Hochschulen und Bibliotheken teurer), je höher deren Journal Impact Factor (JIF) ist. Der JIF misst die Zitationsrate der Journals und ist, auch wenn er methodisch höchst umstritten, so etwas wie der Börsenkurs der Zeitschriften.

Je höher der JIF eines Journals, desto mehr Einreichungen erhält es, deren Annahme zur Publikation so jedoch zunehmend unwahrscheinlicher wird. Folglich produzieren Wissenschaftler immer aufsehenerregende Ergebnisse, um die Chance auf Annahme der Einreichung zu steigern - nicht selten, das belegen die besagten Retrations, passieren diese später zurückgezogenen und manipulierten Artikel die Peer Review ohne Beanstandung.

Diese trotz fragwürdiger Qualität hochangesehenen und auf Wissenschaftler eine fetischhafte Anziehungskraft ausübenden Zeitschriften bezeichnet der Neurobiologie Björn Brembs spöttisch als Glamor Magazines.

Die Mängel des Peer-Review-Verfahrens sind demnach nicht abhängig vom Publikationsmodus Open Access oder Closed Access, sondern systemimmanent - zumindest solange die Review im Verborgenen stattfindet und Vetternwirtschaft, Bevorzugung spektakulärer und Niederschmettern unerwünschter Befunde oder andere Formen der Korruption zulässt.

Dementgegen existieren vielversprechende qualitätssteigernde, offene und transparente Verfahren der Begutachtung, z.B. durch die Open Review, die die Wirkung außerwissenschaftlicher Faktoren bei der Bewertung einer Einreichung minimiert. Noch radikaler denken Vertreter des Publish-First-Filter-Later, bei dem Artikel ohne größere Pre-Publication- Review in Form einer Peer Review online gestellt werden und anschließend von Wissenschaftlern im Netz einer Qualitätsprüfung und -bewertung unterzogen werden. Eine Anwendung dieses Prinzips könnte die langwierigen und undurchsichtigen Prozesse der Peer Review umgehen.

Der erwähnte Björn Brembs selbst machte unschöne Erfahrungen mit einer Einreichung bei Science. Seinen zusammen mit Katherine Button und Marcus Munafò später beim Open-Access-Verlag Frontiers publizierten Text Deep impact: unintended consequences of journal rank wollte man lieber nicht publizieren, obwohl der Artikel wissenschaftlich fundiert und exakt ist. Die Begründung zur Ablehnung des Artikels, der unter anderem die Qualität und Reliabilität von Artikeln in Science grundlegend in Frage stellte, lautete: "We feel that the scope and focus of your paper make it more appropriate for a more specialized journal."

Vor dem Hintergrund der Unwissenschaftlichkeit Bohannons Texts bilanziert Brembs trocken: "Obviously, Science Magazine values anecdotes more than actual data."