Seite 2: Wir leben im Zeitalter der Evaluationswut

Terje Tüür-Fröhlich: Wir leben im Zeitalter der Evaluationswut. Tag und Nacht werden wir WissenschaftlerInnen evaluiert. Am Beispiel Österreichs: Unser Universitätsorganisationsgesetz schreibt den Universitäten die Erstellung von "Wissensbilanzen" vor. In der Kennzahl 3.B.1 geht es um die Anzahl der Artikel, die in Journalen veröffentlicht werden, die von den drei Datenbanken Science Citation Index (SCI), Social Science Citation Index (SSCI) und Arts & Humanities Citation Index (AHCI) erfasst werden.

In jeder Leistungsvereinbarung mit dem Ministerium verspricht unsere Universität hoch und heilig eine Steigerung dieses Publikationsoutputs um 10%. Die Rechts-, Wirtschafts-, SozialwissenschaftlerInnen werden über den SSCI evaluiert, daher nahm ich mir diese Datenbank vor.

Philosophischer Ausgangspunkt für meine Dissertation war Sir Karl Popper. Er betont laufend die Fehlbarkeit der Menschen. Auch Wissenschaften seien "error-making activities". Popper meint: Fehler könnten jedem von uns passieren, das wäre noch nicht tragisch. Aber Fehler zu verbergen oder zu vertuschen, das sei eine echte wissenschaftliche Todsünde.

Inspiriert von Popper habe ich mir gedacht: Wenn etwas eine fehlerproduzierende Aktivität ist, dann die Zitationsindexierung! Ich hatte schon viele Zitationsrecherchen gemacht und war dabei oft über seltsamste Fehler gestolpert. Aber in diesem Stadium wusste ich noch gar nicht, wie schlimm und wie zahlreich diese Fehler in sogenannten autoritativen Datenbanken wie dem SSCI sind.

Durch Fehlindexierung nicht nachgewiesene Zitationen können über Sein und Nichtsein von jungen Wissenschaftlern mitentscheiden

Wie gravierend sind diese Fehler und wie hast Du die Fehler entdeckt? Wie bist Du methodisch vorgegangen?

Terje Tüür-Fröhlich: Mein Dissertationskonzept sah die übliche Palette an Vorgangsweisen vor: als erstes, systematische Projekt- und Literaturrecherchen, auch in den Nachbarfeldern.

Da machte ich eine erstaunliche Entdeckung: Als Amateurin, als Außenseiterin - ich hatte ja nie Informationswissenschaften oder gar Szientometrie studiert - hatte ich eine banale methodische Idee: Wenn ich Fehler in Zitationsdatenbanken finden will, muss ich mir das Original des Artikels beschaffen, inklusive aller Quellenangaben, sowie den SSCI-Record, sprich den Datenbankeintrag im SSCI. Die Dokumentation einer Publikation in einer Zitationsdatenbank muss prinzipiell alle im Original aufgelisteten Quellen nachweisen, das ist ja der Clou an Zitationsdatenbanken.

Als zweiten Schritt musste ich die Quellen im Original mit den Einträgen in der Datenbank vergleichen. Erstaunlicherweise fand ich solche Studien nur auf der Ebene von Fehlern in Journalen. Fehler in Datenbanken waren damals in der Fachliteratur fast ein Tabuthema und die wenigen aktuellen Studien basieren auf automatischen Analysen.

Aber ich fand bald heraus, dass die Fehler in Datenbankeinträgen so gravierend sind, dass die Rekonstruktion ihrer Genese oft tagelange Detektivarbeit erforderte. Mir haben Fachleute versichert, es gäbe zurzeit keinerlei Software, die so etwas schaffen könne. Ich bin also einfach mit Hausverstand vorgegangen: Ich habe die Originale gesucht und sie mit den Einträgen im SSCI verglichen. Ich habe dazu eine Technik von der Soziologie übernommen, die Schneeballmethode, und in der Laufrichtung "umgedreht". Die "Ping-Pong-Methode" entwickelte ich selbst.

Der Ausgangpunkt waren mir bereits bekannte Mutationen des Autorennamens Pierre Bourdieu, z.B. "Bordieu" ohne "u". Ping-Pong-Methode heißt zwischen den Datenfeldern hin und her zu hüpften. Wenn in einem Datenfeld der Eintrag fehlt - und der fehlt oft! -, z.B. im Datenfeld Cited Author, habe ich im Datenfeld Cited Work gesucht, z.B. nach Zitationen von Bourdieus "La Distinction". Dann bin ich wieder zum Datenfeld Cited Author zurückgesprungen und habe dort neue Mutationen von Bourdieu entdeckt, aber oft gar keinen Eintrag gefunden, nur ein leeres Feld, manchmal aber auch die Angabe "anonymous". Nach leeren Feldern oder nach allen "anonymous"-Einträgen konnte ich ja nicht gut suchen. Daher dieses Hin-Und-Her, dieses "Ping-Pong". Vom SSCI-Record bin ich zurück zum Original gesprungen und dort war das Werk korrekt zitiert, d.h. mit dem Namen und Vornamen von Bourdieu. Durch jeden solchen Fehler wird die gemessene Zitationsleistung von Bourdieu verringert.

Das klingt alles kinderleicht. Doch ich bin regelmäßig daran verzweifelt, Warum? Der SSCI übersetzt inkonsistent alle LOTE- (Languages Other Than English-) Publikationstitel ins Englische und verkürzt sie extrem. Auch da war mir das Linzer HyperBourdieu eine Hilfe, denn dort werden alle Übersetzungen und Versionen von Bourdieus Publikationen nachgewiesen.

Bei der Schneeball-Methode verfolgte ich SSCI-Records, in deren Referenzen ich Mutationen von Bourdieus Namen fand, zum Original zurück. Wurde in diesen Originalen nur Bourdieus Name verstümmelt oder auch die Namen anderer zitierter AutorInnen?

In meiner Dissertation habe ich mich auf die im SSCI häufig feststellbare Verwechslung von Vor- und Nachnamen konzentriert und bin in Fallstudien dem SSCI-Phantomautor "Pierre, B" bzw. "Pierri B" nachgegangen. Es zeigte sich im Vergleich zu den korrekten Originalen, dass die so gefundenen SSCI-Records nicht nur Pierre Bourdieus Namen, sondern auch die Namen vieler anderer zitierter AutorInnen verhunzt, mutiert, malträtiert haben. Pierre Bourdieu ist also keineswegs das einzige Indexierungsopfer. Allerdings konnte Bourdieu bei seiner weltweiten Anerkennung solche Verluste leicht verkraften; bei JungwissenschaftlerInnen können einige durch Fehlindexierung nicht nachgewiesene und daher bei einer Evaluation nicht zählbare Zitationen schon über Sein und Nichtsein mitentscheiden.