Alte Hüte und neue Konzepte
Qualitätssicherung, Qualitätsmessung und Zitationshäufigkeiten
Das gängige Modell zur Sicherung der Qualität wissenschaftlicher Publikationen ist die Peer-Review: Die Bewertung einer zur Veröffentlichung eingereichten wissenschaftlichen Publikation durch einen oder mehrere unabhängige Fachgutachter, die sogenannten "Peers". Herausgeber von Journals wählen Gutachter aus, die entscheiden, ob ein Artikel in der gegebenen Form veröffentlicht wird, und die gegebenenfalls Verbesserungsvorschläge machen.
Repositories verfügen meist über keine derartige Qualitätskontrolle, obwohl experimentelle Ansätze existieren: Zum Beispiel durch eine automatisierte Auswahl von geeigneten Gutachten für Dokumente über die bibliographischen Angaben des Dokuments. Die automatisierte Auswahl kann über eine erweiterte Schnittstelle nach dem Modell der Open Archives Initiative (OAI) erfolgen.
Dennoch: Peer Review kommt in erster Linie für Journals in Frage und wird in den Fächern, in denen diese Technik Tradition hat, auch von dem meisten Open-Access-Journals angewandt. Bei Open-Access-Journals werden oft transparente, diskussionshafte Review-Techniken genutzt: zum Beispiel durch Zugänglichmachung der Anmerkungen der Peers bis hin zur kompletten Zugänglichmachung des fertigen Artikels inklusive der Evolutionsstufen seit dem Einreichen des ersten Entwurfs und aller Peer-Kommentare. Ähnliche Verfahren finden etwa bei ArXiv.org, einem Preprint-Server für Dokumente aus der Physik, Mathematik, Informatik und Biologie, sehr erfolgreich Anwendung. Traditionelle Nicht-Open-Access-Angebote nutzen diese Modelle sehr viel weniger häufig.
Klassische Peer Review verläuft - trotz unterschiedlicher Spielarten - grundlegend anders: Am häufigsten genutzt wird das Einfachblind-Verfahren. Hier kennen die Autoren der zu begutachtenden Dokumente die Peers nicht. Beim Doppelblind-Verfahren wird weder die Identität der Autoren, noch die der Gutachter preisgegeben - auch wenn dies nicht immer gelingt: Innerhalb von Communities sind Autoren über Themen und Stil zuweilen leicht zu erkennen. Beim sehr selten praktizierten Dreifachblind-Verfahren wird zusätzlich versucht, die Identität der Autoren vor den Herausgebern verborgen zu halten. Ebenfalls sehr selten finden Review-Verfahren Anwendung, bei denen die Identität der Gutachter bekannt ist.
Die erwähnten transparenten Peer-Review-Konzepte, teils auch als Peer-Monitoring bezeichnet, bieten gegenüber den klassischen Techniken wichtige Vorteile, denn sie helfen, folgende Probleme der klassischen Peer-Review zu lösen: die Begünstigung von Plagiaten, die Förderung informeller Abhängigkeitsstrukturen, Cliquenbildung durch Ausbilden und Erhalten von Seilschaften und Netzwerken bis hin zum Blockieren wissenschaftlicher Karrieren und Konzepte. Da in manchen Fächern die Qualität von Journals über Abweisungsraten definiert wird, stehen Peers in einigen Fällen sogar unter dem Druck, vorab einen gewissen Teil der eingereichten Beiträge abzulehnen - ohne dass Qualitätsüberlegungen bei dieser Selektion eine nennenswerte Rolle spielen.
Der grundlegende Mangel liegt in der fehlenden Transparenz begründet: Klassisches Peer Review sieht keine Offenheit der wissenschaftlichen Kommunikation vor. Auch was das Peer Review selbst angeht, herrscht wenig Transparenz: Oft finden sich widersprüchliche Angaben darüber, ob ein Journal peer reviewed ist oder nicht, Gleiches gilt für Angaben über die Art des angewandten Verfahrens. Teils werden Autoren von der Überprüfung durch das Peer Review ausgenommen oder das Peer Review wird nur pro forma durchgeführt.
Empirische Daten rund um Peer Review erhebt und sammelt seit Jahren Gerhard Fröhlich vom Institut für Philosophie und Wissenschaftstheorie der Johannes Kepler Universität Linz. So existieren zahlreiche dokumentierte wissenschaftliche Fälschungen, die durch Peer-Review nicht verhindert wurden. Der Physiker Jan Hendrik Schön konnte trotz offensichtlicher Manipulationen lange Zeit Gutachter anerkanntester Journals wie Science oder Nature mit Leichtigkeit hinters Licht führen: Unter anderem fiel niemandem auf, dass Schön über Jahre etwa alle anderthalb Woche einen Fachartikel publizierte - aber wann sollte Schön denn die notwendige Forschung für seine Publikationen betreiben? Immerhin brachte es Schön damit bis zum Nobelpreiskandidat.
Das Peer Review von Science passierten auch eingereichte Dokumente mit manipulierten Daten des Stammzellenforschers Hwang Woo Suk ohne Problem. Nicht aufgedeckte Manipulationen und Fälschungen finden sich wohl auch in renommierten und anerkannten Journals wie die genannten Science und Nature regelmäßig. Fatal daran: Fälschungen werden meist nicht von den Gutachtern aufgedeckt, sondern über Selbstanzeigen von involvierten Mitarbeitern der Autoren oder über simples Anschwärzen. In Fällen, in denen Gutachter Manipulationen aufdecken, kommt es mithin vor, dass Herausgeber aus Angst vor Nestbeschmutzung oder Klagen der Autoren vor Abweisung des Dokuments oder Öffentlichmachung der Manipulation zurückschrecken. Mehr Transparenz im wissenschaftlichen Begutachtungsprozess dürfte viele der genannten Probleme lösen.
Obwohl Fröhlich fortlaufend Fälle des Scheiterns belegt, gilt klassische Peer Review immer noch als das weithin anerkannte Modell zur Qualitätssicherung wissenschaftlicher Publikationen. Und auch wenn Peer Review nicht unantastbar ist, wird einem Großteil der unter Bedingungen des Open Access zugänglichen Dokumenten, nämlich den Dokumenten auf Open-Access-Repositories, implizit der Vorwurf mangelnder Qualität gemacht, da dort meist keine Peer Review angewandt wird.
Daher versuchte man frühzeitig Techniken zu entwickeln, die das Fehlen der vorgeblichen Qualitätssicherung durch Peer Review durch eine Qualitätsmessung ex-post kompensieren. Anlässlich eines internationalen Workshops über Alternative Impact Metrics wurden drei Techniken identifziert, die valide Qualitätsmessungstechniken für Open-Access-Publikationen ermöglichen und zugleich bekannte Limitierungen des Journal Impact Factors umgehen können. Diese Techniken sind: Die Analyse von Nutzungsdaten elektronischer Dokumente, die Nutzung standardisierter Webserverlogs und Citation Parsing bzw. Citation Counting. Einer der wichtigsten Aspekte: Es wird versucht, die Messung auf Ebene des einzelnen Dokumentes durchzuführen. Messlatte, Referenz und Konkurrenz für diese alternativen metrischen Verfahren ist der Journal Impact Factor (JIF). Das Institute for Scientific Information ISI berechnet den JIF nach folgender Formel:
Der Impact Factor wird im Allgemeinen als Qualitätskriterium schlechthin für wissenschaftliche Publikationen ausgegeben, weist aber zahlreiche nicht zu leugnende Mängel auf: Die Auswahl der Journals obliegt einzig dem ISI, auch bei gewissenhafter Auswahl dürften kaum alle wichtigen Publikationen im Sample vertreten sein. Von der Berechnung ausgeschlossen sind komplette Dokumentgattungen: z.B. Bücher, Buchbeiträge, graue Literatur. Der JIF wird auf Journalebene, nicht auf Artikelebene ermittelt - er sagt nichts über die Zitationshäufigkeit eines Artikels aus.
So kommt es zu bemerkenswerten Verzerrungen: Weniger als 20 % der Artikel eines Journals verursachen mehr als 80 % der Zitierungen. Zudem werden neue Journals nicht berücksichtigt: Der JIF wird nur für Journals berechnet, die drei Jahre existieren. Disziplinen, in denen die Verwertungszyklen für Informationen länger als drei Jahre sind, z.B. Mathematik und Geisteswissenschaften, sind durch dieses Zeitfenster in der Berechnung systematisch benachteiligt. Benachteiligt sind auch Spartenjournals, die sich einer kleinen Community widmen: In solchen Communities existieren wenige Zeitschriften, die einander zitieren: Keine Zitationen, kein JIF - Qualität spielt in solchen Fällen keine Rolle.
Schließlich ist das Sample, das zur JIF-Berechnung herangezogen wird, durch die Sprache der Journals verzerrt: Englischsprachige Journals sind darin überproportional vertreten. Zudem existieren Untersuchungen, die belegen, dass der JIF die von Wissenschaftlern wahrgenommene Qualität der Journals dann recht gut abbildet, wenn diese Journals sich keinen sehr fachspzifischen Themen widmen, sondern eher allgemeiner oder interdisziplinärer Art sind: In diesen Fällen sind Nutzungsanalysen der Dokumente eine geeignetere Kennziffer für die wahrgenommene Qualität der Dokumente.
Auch wenn ein Großteil der Open-Access-Dokumente nicht bei der Vergabe des JIF berücksichtigt wird (Materialien auf Repositories, neue Open Access Journals), belegen zahlreiche Studien einen Zitationsvorteil zugunsten von Open Access: Open-Access-Materialien werden demnach häufiger zitiert als Nicht-Open-Access-Materialien.
Erstmals nennenswertes Echo zum Phänomen der erhöhten Zitationshäufigkeit bei Open-Access-Publikationen im Vergleich zu Nicht-Open-Access-Veröffentlichungen fand ein Artikel von Lawrence im Jahr 2001, wohl auch wegen der Veröffentlichung in Nature. In Lawrence Studie war die Zitationshäufigkeit für Veröffentlichungen im Fach Informatik (in Lawrence Studie Konferenzbeiträge, einer in der Informatik sehr prominenten Veröffentlichungsform), bei einer Open-Access-Veröffentlichung um 157 % gegenüber einer Nicht-Open-Access-Veröffentlichung erhöht. Bei Beiträgen in den fachintern wichtigsten Konferenzbänden erhöhte sich der Wert auf 286 %.
2004 versuchte Pringle diese Ergebnisse zu widerlegen, indem er sich auf eine Studie des ISI aus dem gleichen Jahr berief. Diese Studie fand ebenfalls 2004 eine Erwiderung durch Harnad und Brody. Tatsächlich fand Pringle keinen signifikanten Unterschied in der Zitationshäufigkeit für Open-Access- und Nicht-Open-Access-Journals. Harnad und Brody werfen Pringle einen konzeptionellen Fehler vor, den er begehe, indem er Journals miteinander vergleicht. Sie selbst vergleichen Open-Access- und Nicht-Open-Access-Dokumente derselben Journals. Die Autoren beziehen sich auf Artikel der Jahre 1992-2001 aus dem Fach Physik und kommen zum Ergebnis, dass die Zitationshäufigkeit von Artikeln, die zusätzlich zur Nicht-Open-Access-Veröffentlichung in einem Journal auch auf einem Open-Access-Repository veröffentlicht wurden, gegenüber ausschließlich nicht Open Access veröffentlichter Artikel im selben Journal zwischen 238 % (1993) und 567 % (2001) höher liegt (im 10-Jahresmittel 238 %).
Studien zum Zitationsvorteil der Open-Access-Materialien belegen vor allem zwei Dinge: Dokumente, die parallel zur konventionellen Veröffentlichung in einem Nicht-Open-Access-Journal auch auf einem Repository zugänglich gemacht werden, werden häufiger zitiert als Dokumente, die ausschließlich als Nicht-Open-Access-Dokumente existieren. Die gesteigerte Zitationshäufigkeit der Open-Access-Dokumente variiert zwischen verschiedenen Disziplinen und liegt in der Regel zwischen 25 und 300 % .
Trotz allen Zögerns und Verharrens in Argumenten gegen Open Access: Transparente Wissenschaft, maximierte Verbreitung der Inhalte und gesteigerte Zitationshäufigkeiten bieten schlagkräftige Argumente pro Open Access.