Seite 3: Das berufliche Überleben eines Wissenschaftlers hängt fast nur noch von numerischen Symbolen ab

Wie bewertest Du aufgrund Deiner Untersuchungen die Qualität dieser Datenbank?

Terje Tüür-Fröhlich: Die Datenqualität im SSCI scheint vorrangig vom Fach abzuhängen, in dem der Artikel publiziert wurde. Die einzelnen Fächer, ihre Verlage, ihre Journale haben unterschiedliche Zitierregeln. Das ist unter anderem fatal für die Rechtswissenschaften. Denn JuristInnen geben ihre Quellen nur in Fußnoten an. Das überfordert die Indexierungsprozeduren des SSCI.

Wie hoch schätzt du die Fehlerquote ein?

Terje Tüür-Fröhlich: Meine aufwändig erstellte quantitative Fallstudie zu einem Harvard Law Review-Artikel brachte ein schockierendes Ergebnis. Die Harvard Law Review (HLR) ist das Journal mit dem höchsten Journal Impact Factor (JIF) im juristischen Feld. Der JIF versucht, die durchschnittliche Zitationshäufigkeit eines Journals in den letzten Jahren zu messen.

Die HLR erscheint in englischer Sprache in den USA. An und für sich wären die Voraussetzungen zur korrekten Indexierung also optimal, es sind keine sprachlichen Probleme mit Umlauten oder AutorInnennamen zu erwarten. Doch ich hatte mich getäuscht: Nur ein Prozent der n=493 korrekten Originalreferenzen wurde im SSCI-Record richtig indexiert, d.h. fehlerfrei wiedergegeben.

Kannst Du ein weiteres Beispiel geben?

Terje Tüür-Fröhlich: Der SSCI kann auch nicht mit Sammelrezensionen umgehen, die mehr als ein Werk rezensieren und die weitere Quellenangaben machen. In einem kanadischen Soziologiejournal wies der SSCI bei einer per Schneeballverfahren ausgewählten Rezension nur eine von 14 Quellenangaben nach. Praktisch alle dann gesichteten Sammelrezensionen zeigten ähnliche Muster.

Warum sind diese Datenbankfehler so bedeutsam? Warum sind ihre Effekte "non-trivial"?

Terje Tüür-Fröhlich: Banale Fehler haben nicht-banale Auswirkungen, weil sie heute, in den sogenannten "audit cultures", in denen alles, was gemessen werden kann, auch gemessen wird, an Hochschulen bei der Bewilligung von Geldern und bei der Besetzung von Posten eine wichtige Rolle spielen. Ich werde als junge WissenschaftlerIn Tag und Nacht evaluiert. Mein berufliches Überleben hängt fast nur noch von numerischen Symbolen ab. Die Höhe des JIFs des Journals, in dem ich einen Beitrag unterbringen konnte, ist wichtiger als der Inhalt meines Artikels.

Meine persönliche Publikationsleistung wird auch auf den h-Index reduziert. Ein Beispiel: Habe ich bislang fünf Publikationen geschafft, z.B. mit 7, 4, 3, 2, 0 Zitationen, habe ich drei Publikationen mit mindestens je drei Zitationen, das ergibt einen h-Index von drei. Drei Zitationen mehr, also 7, 4, 4, 4, 0, und ich hätte einen h-index von vier. Schon einige wenige durch Fehler verlorene Einträge lassen meine Kennzahlen sinken.

Angeblich sind Zahlen objektiv. Im Wettbewerb um Gelder und Posten wird der/diejenige/r mit den höheren Punktezahlen auf Basis dieser Datenbanken gemessen die Stelle oder das Forschungsstipendium bekommen. Aber nicht nur JungwissenschaftlerInnen sind betroffen, sondern auch Institute, Fächer, ganze Universitäten - "No Impact, No Money."

In der Literatur zum Thema wird fast immer behauptet, die AutorInnen seien an den Fehlern Schuld. Es wird ihnen unterstellt, sie hätten falsch zitiert, daher würden sich in den Datenbanken diese Fehler wiederfinden. Das konnte ich eindeutig widerlegen: Fast alle von mir gefundenen Fehler waren endogene Datenbankfehler: Die Originalartikel hatten korrekte Quellenangaben, aber bei der Dateneingabe, aufgrund von Scan-, OCR- und/oder Parsingfehlern, kam es zu gravierenden Fehlern - "Lost in Indexing" würde Sofia Coppola sagen.

Ob wir das sympathisch finden oder nicht, faktisch wird heute überall eine Art von Impact-Monitoring durchgeführt. Siehst du überlegene Alternativen zu den von Dir kritisierten Datenbanken?

Terje Tüür-Fröhlich: Impact, also Resonanz, können wir höchst unterschiedlich definieren. Ein in 20 Sprachen übersetztes Buch hat sicherlich einen hohen interkulturellen Impact - ganz egal, wie oft es im SSCI zitiert wird. Eine Studie, die ärztliche Kunstfehler reduzieren hilft, hat einen wichtigen Impact auf die PatientInnensicherheit. Viele wichtige Impacts werden also vom SSCI oder anderen Zitationsdatenbanken gar nicht gemessen.

Wir WissenschaftlerInnen sollten uns nicht als Objekte behandeln lassen, sondern uns wissenschaftspolitisch zur Wehr setzen. Ein Schritt in die richtige Richtung ist die Kritik und der Forderungskatalog von DORA, der San Francisco Declaration on Research Assessment (Der akademische Frühling dauert an). DORA spricht sich gegen den Einsatz des JIF für persönliche Leistungsmessung aus und fordert mehr Transparenz bei den Indexierungsprozeduren, den Datengrundlagen und den Prozeduren bei der Berechnung der Impact Faktoren.

Die DORA-Aktivistinnen fordern auch, gleichsam als minimale Open-Access-Forderung, dass Literaturlisten aller Publikationen kosten- und barrierefrei im Web einsehbar sein sollten, damit wir WissenschaftlerInnen selbst eigene Untersuchungen anstellen können.

Von alternativen Angeboten wie der Zitationssuchmaschine CITESEER bin ich auch nicht überzeugt, sie enthält jede Menge horrender Fehler, die ein intelligenter Mensch auf den ersten Blick erkennen würde, z.B. AutorInnen oder Publikationstitel namens "12345". Automatisierung erfordert strenge Kontrollmechanismen. Zumindest derzeit geht dies offenbar nicht ohne intelligente Menschen mit Fach- und Sprachkenntnissen.

Kinder der Lochkartenära

Wenn die Fehler so frappierend sind wie geschildert: Warum werden sie nicht breiter diskutiert? Und warum arbeitet man nicht an technisch oder methodisch besseren Verfahren?

Terje Tüür-Fröhlich: Im Laufe meiner Recherchen bin ich auf das Briefarchiv von Joshua Lederberg gestoßen. Der Erfinder der Zitationsindexierung, Eugene Garfield, mit dem Lederberg sich austauschte, hatte es in den 1950er/1960erJahren schwer: Hard- und Software waren in ihrer Leistung noch sehr schwach. Niemand interessierte sich für Zitationsindexierung und Garfield erhielt bei Finanzierungsanträgen laufend Absagen. Und so schrieb er Lederberg, einem Nobelpreisträger der Genetik, frustriert: "Needless to say, my proposal was turned down."

Doch als ihn Lederberg "adoptiert" hatte, als Nobelpreisträger standen ihm ja alle Türen offen, und Garfield zur Entwicklung eines Genetik-Indexes überredet hatte, begann die Erfolgsstory. Ich bewundere wirklich den Mut von Garfield, seine Beharrlichkeit. Aber Garfield und Lederberg waren über-optimistisch, was die Möglichkeiten der Automatisierbarkeit der Indexierungsprozesse betrifft, zumindest zum damaligen technischen Entwicklungsstand. Beide waren keine Kulturwissenschaftler: Das Sprachenproblem taten sie als ganz und gar irrelevant ab. Sie waren sich einig, dass jede US-amerikanische Hausfrau in einer Stunde ausgebildet werde könnte, um Artikel in russischer Sprache zu indexieren. Das können wir im Briefverkehr zwischen Garfield und Lederberg nachlesen.

Die Zitationsdatenbanken vom Typ des SSCI sind Kinder der Lochkartenära: Der Platz war knapp und kostbar, daher sparte man mittels Abkürzungen, indexierte nur Initialen, statt Vornamen auszuschreiben, verwendete kurze Codes zur Kennzeichnung eines Artikels. Es wäre sehr, sehr teuer, solche Datenbanken mit Milliarden Dokumenten bzw. Zitationen komplett neu aufzusetzen, was aber nötig wäre zur konsequenten Fehlereliminierung.

Die Genesis der ersten Zitationsdatenbank in der Lochkartenära hat also bis heute fatale Folgen. Mein Buch hat nur die Spitze des Eisbergs sichtbar gemacht. Das Thema Fehler in Wissenschaftskommunikation, Evaluation und Datenbanken bietet also noch ein fast unendliches Reservoir an Master- und Doktorarbeitsthemen.