Der akademische Frühling dauert an

Wissenschaftler protestieren gegen den Journal Impact Factor

Wissenschaftler und wissenschaftliche Leistungen werden nach ihrem Impact bewertet. Bedauerlicherweise weiß aber niemand so genau, was wissenschaftlicher Impact eigentlich ist. Impact kann vielleicht am ehesten verstanden werden als Einfluss oder Resonanz eines Wissenschaftlers beziehungsweise eines wissenschaftlichen Werkes, sei es ein Text,eine wissenschaftliche Software oder Forschungsdaten.

Faktisch setzt man, vor allem in der Wissenschaftsbürokratie und in Berufungskommissionen, Impact mit Qualität gleich und versucht diesen durch Zitationsraten zu messen: Folge ist, wie der Wirtschaftswissenschaftler Alfred Kieser moniert, eine Tonnenideologie der Forschung, man könnte wohl auch vom Sieg der Planwirtschaft über die Wissenschaft sprechen.

Szientometrie, die auf Basis von Zitationsraten und -häufigkeiten Aussagen über die Beschaffenheit von Informationen treffen will, bezeichnet der Wissenschaftsforscher Gerhard Fröhlich folglich als "theorielose, offensichtlich von der Illusion des Induktivismus befallene Disziplin", in der "die wissenschaftstheoretische Grundüberzeugung [dominiert], man könne oder solle auf Theorien verzichten und theoriefrei durch reines Sammeln von Daten zu wissenschaftlichen Erkenntnissen gelangen".

Was viel zitiert wird, so die Annahme, ist von hoher Qualität - egal ob Wissenschaftler, wissenschaftliche Zeitschriften oder Einrichtungen Objekt der Messung sind. Dabei fehlt jeder Beleg, dass Zitationshäufigkeiten und -raten positiv mit Qualität korrelieren. Besonders beim Journal Impact Factor (JIF), einem sehr umstrittenen Instrument zur Messung der Zitationsraten wissenschaftlicher Journals, finden sich eher gegenteilige Belege. So korreliert eine hohe Zitationsrate nach JIF negativ mit der Reproduzierbarkeit und Reliabilität der publizierten Ergebnisse. (was z.B. vermuten lassen könnte, dass Daten, die spektakuläre Befunde und die Publikation in High Impact Journals gefährden könnten, aus scheinbar methodischen Gründen eliminiert wurden) oder aber positiv mit der Häufigkeit, mit der Artikel aufgrund wissenschaftlicher Fehler aus Journals zurückgezogen werden müssen.

Die Verbindung zwischen einem hohen JIF-Score und Qualität der Zeitschriften ist mehr als brüchig und ernsthaft betrachtet nicht vorhanden. Zudem entstehen zahlreiche dysfunktionale Effekte, wenn Journals versuchen ihre JIF-Scores durch Manipulationen in die Höhe zu schrauben. In der Verlagsbranche wird dieses künstliche Erhöhen der Werte übrigens neckisch als impact engineering bezeichnet, Anleitungen dazu finden sich im WWW zuhauf.

Trotz all dieser Mängel: Wer wissenschaftliche Karriere machen will, muss in JIF-starken Journals publizieren - denn die an Hochschulen oft euphemistisch als leistungsorientierte Mittelvergabe bezeichnete Evaluierung berücksichtigt ebenso sehr den JIF-Wert der Journals, in denen ein Forscher publiziert, wie es die Berufungskommission tut. Dabei, das sei nur nebenbei erwähnt und betont, sagt der JIF rein gar nichts über die Zitationshäufigkeit eines Artikels oder Autoren aus, sondern nur über die Zitationsrate eines Journals. Tatsächlich belegen mehrere Untersuchungen, dass ca. 20% der Artikel eines Journals 80% von dessen Zitierungen bewirken - wohingegen 80% der Artikel sehr, sehr selten zitiert werden und quasi JIF-Trittbrettfahrer sind.

Aufruf zur Abkehr von der Verwendung journalbasierter Impact-Metriken zur Beurteilung von Wissenschaft und Wissenschaftlern

Neu ist diese Kritik am JIF nicht, neu ist hingegen, dass Wissenschaftler Gefallen an Selbstverantwortung und Selbstorganisation finden und nun auch den JIF und verwandte metrische Verfahren zur Taxierung von Wissenschaft ins Visier nehmen. Die San Francisco Declaration on Research Assessment (DORA), initiiert von der American Society for Cell Biology (ASCB), beginnt mit dem Statement:

There is a pressing need to improve the ways in which the output of scientific research is evaluated by funding agencies, academic institutions, and other parties.

Wer die Erklärung unterzeichnet, fordert die Abkehr von der Verwendung journalbasierter Impact-Metriken, wie z.B. des JIF, zur Beurteilung von Wissenschaft und Wissenschaftlern. Ferner wird an Förderorganisationen und wissenschaftliche Einrichtungen appelliert, bei der Bewertung wissenschaftlicher Leistung nicht allein Dokumente, sondern Forschungsdaten oder -software zu berücksichtigen und die Qualität eines Texts nur anhand seines Inhalts und nicht seiner Zitationshäufigkeit zu bestimmen. Andere Akteure, wie Verlage, werden dazu aufgefordert, den JIF durch sogenannte Article Level Metrics, also durch Impact-Maße zu ersetzen oder zu ergänzen, die die Resonanz eines einzelnen Artikels beschreiben und nicht eines ganzen Journals. Diese Article Level Metrics erfassen in aller Regel nicht nur Zitationen, sondern auch Downloads oder den Widerhall eines wissenschaftlichen Objekts (gleich ob Text, Daten, Software) in Social-Media-Diensten.

All diese Verfahren bündeln sich im dem Begriff der sogenannten alternativen Metriken oder AltMetrics. Pionier in der Ausschöpfung dieser AltMetrics und Article Level Metrics ist der Open Access Verlag Public Library of Sciene (PLoS), in dessen Journals jedem Artikel eine Vielzahl unterschiedlicher Informationen zu Zitaten, Downloads oder Social Media Impact beigepackt ist.

DORA setzt aber nicht nur ein bemerkenswertes Glanzlicht durch die wissenschaftsgetriebene Kritik an bürokratischer und letztlich wissenschaftsexterner Bewertung von Wissenschaft. Die Initiative schreibt eine ganze Reihe von Akten wissenschaftlicher Selbstreflektion, Selbstverantwortung und Selbstorganisation fort: Angefangen beim Boykott des Wissenschaftsverlages Elsevier, über die von Mathematikern ins Leben gerufenen selbstverwalteten und verlagslosen epijournals (Die Renaissance der Overlay-Journals) oder den Wissenschaftlerprotest anlässlich des Selbstmordes des Open-Access-Aktivisten Aaron Swartz, der von der Verlagsplattform JSTOR mit einer Millionenklage und Androhung von 35 Jahren Haft konfrontiert wurde, bis hin zu den Aktivitäten der Open-Science-Befürworter, die versuchen, massiv Lobby-Arbeit für offene Lizenzierungen wissenschaftlicher Informationen zu betreiben.

Neben Personen können auch Organisationen DORA unterzeichnen, einige sehr namhafte Einrichtungen schlossen sich dem Protest bereits an, etwa der Wellcome Trust, der Higher Education Funding Council for England (HEFCE) oder das Howard Hughes Medical Institute. Auch angesehene Journals wie eLife und die Proceedings of The National Academy Of Sciences (PNAS) unterstützen die Initiative. Es besteht demnach Anlass zur Hoffnung, dass der durch den Elsevierboykott eingeläutete akademische Frühling noch ein wenig länger andauert.