Seite 3: Das große Geschäft mit den Daten

Eine Mitsprache der Wissenschaftler ist nicht vorgesehen. Die Entscheidungen treffen die Investoren beziehungsweise die eingesetzten "Executives" von THE, die sich laut Selbstdarstellung der Firma auf das Vermarkten von Daten spezialisieren:

Daten sind wirklich das heiße Thema des 21. Jahrhunderts. Sie geben uns eine Möglichkeit, uns von Entscheidungen basierend auf Bauchgefühl oder 'Das haben wir schon immer so gemacht' hin zu evidenzbasierten Entscheidungen zu bewegen. Daten sind von kritischer Bedeutung als Teil von Times Higher Education, sowohl mit Blick auf die Produktion der Weltranglisten der Universitäten als auch zunehmend für Ranglisten, die sich aufs Unterrichten fokussieren. Sekundär informieren sie unseren Journalismus und helfen sie unseren Universitäten, sich selbst zu messen.

Duncan Ross, THE Data and analytics director; dt. Übersetzung

Und:

THE war einer der globalen Pioniere auf dem Gebiet der Ranglisten. Primär sind sie wunderbare Instrumente für Studierende, um die wahrscheinlich wichtigste Entscheidung ihres Lebens zu treffen, wem sie ihre Ausbildung anvertrauen sollen. Sie sind aber auch unglaublich hilfreich für Regierungen. Sie sind eine Art geopolitischer Indikator geworden, der einer Regierung oder einer Universität einen Eindruck ihrer Stärken in der Wissensökonomie vermittelt.

Phil Baty, THE Editorial director; dt. Übersetzung

Auf internationalen Konferenzen werden die Entscheidungsträger der Wissensökonomie zusammengebracht und eine akademische Jobbörse rundet das Angebot ab. Über THE Awards werden schließlich Hochschulen ausgezeichnet, die sich in besonderem Maße für die hohen Standards im Bildungssystem bemühen. Standards wahrscheinlich, wie sie THE für angemessen hält.

Fluktuationen in der Weltrangliste

Schließen wir den Artikel damit ab, dass wir uns das Abschneiden deutscher Universitäten in der Top 100 der Weltrangliste anschauen. Wohlgemerkt, jetzt geht es nicht nur um die Reputation, sondern auch die Ergänzung mit den anderen Faktoren. Neben den sechs bereits genannten Institutionen kommen dann noch die Universitäten von Freiburg, Göttingen (bis 2016) und Tübingen. Dabei habe ich nur diejenigen berücksichtigt, die im Zeitraum von 2011 bis 2019 mindestens dreimal unter den ersten 100 waren.

Eine interessante Fallstudie ist nun der Absturz der Universität Göttingen, die 2011 noch mit Platz 43 die erste deutsche Institution auf der Rangliste und knapp 20 Plätze vor der LMU (2011: 61) war. Heute liegt sie weit abgeschlagen mit den Universitäten Mannheim und Nijmegen (Niederlande) auf Platz 123. Wenn man sich nun insbesondere den Absturz von Göttingen von 2015 (Platz 67) auf 2016 (Platz 99) anschaut, dann ergibt sich folgendes Bild:

Der Gesamtwert fiel innerhalb eines Jahres von 61 auf 58 (je höher, desto besser), obwohl die Teilwerte für Lehre und Forschung von rund 47 auf 49 beziehungsweise 48 auf 55 stiegen! Allerdings ist der Teilwert für die Zitationen, der immerhin 30% der Gesamtwertung ausmacht, von rund 92 auf 73 gefallen. Nun muss man wissen, dass THE in diesem Zeitraum von der ISI Web of Science Datenbank von Thomson Reuters auf Scopus von Elsevier umstieg. Der Absturz um ganze 32 Plätze erklärt sich wahrscheinlich dadurch, dass Scopus Zitationen anders erfasst als Web of Science.

Göttingen stürzte ab, TUM und HU gewannen

Es gab aber auch Gewinner: So sprang die Münchner TUM im selben Jahresvergleich von Platz 98 auf 53, also satte 45 Plätze nach oben, weil die Gesamtwertung von rund 54 auf 69 stieg. Schaut man in die Details, dann fällt auf, dass sich der Teilwert für die Industrieförderung von rund 49 auf 99 verdoppelte. Dieser fließt aber nur mit 2,5% in die Gesamtwertung ein. Frappierender ist der Anstieg für den Teilwert für Lehre von rund 46 auf 61, insbesondere aber für Forschung von rund 37 auf 66 (plus 78%). Der Wechsel der Zitationsdatenbank wirkte sich auf die Technische Universität hingegen nicht negativ aus.

Auch die Berliner Humboldt Universität zeigt ein auffälliges Bild: Von 2013 bis 2016, also innerhalb von nur drei Jahren, kletterte sie um satte 50 Plätze von Platz 99 auf 49, um in den drei Folgejahren bis heute wieder um 18 Plätze auf Nummer 67 zu fallen. Entspricht an den Institutionen irgendetwas Wesentliches im Bereich von Forschung und Lehre diesen enormen Fluktuationen innerhalb kürzester Zeit? Oder handelt es sich schlicht um Artefakte der Datenverarbeitung?

Wenn man nun weiß, dass Universitäten eher träge Organisationen sind, die sich nicht innerhalb eines Jahres vollständig umkrempeln lassen, dann verwundern solche Sprünge. Der Teilwert für die Forschung errechnete sich im Jahr 2016 zu 70% aus der Reputation und zu jeweils 15% aus den eingeworbenen Mitteln (ohne Industrie) und der Anzahl der Publikationen in Abhängigkeit zur Anzahl der Forscher. Gut möglich, dass sich hier die Förderung durch die dritte Runde der Exzellenzinitiative (ab 1. November 2012) oder andere finanzielle Maßnahmen niederschlugen.

Geringe Vertrauenswürdigkeit

Wenn man sich täglich auf die Waage stellt und diese am Dienstag auf einmal 10 kg mehr anzeigt als am Montag, dann vermuten wir schnell, dass mit der Waage irgendetwas nicht stimmen kann. Zu Recht! Die großen Sprünge, die wir bei der THE Weltrangliste sehen, zeichnen ebenfalls kein sehr vertrauenswürdiges Bild.

Ich habe hier ein paar Erklärungsversuche angeboten. Wesentlich ist dabei, dass diese Änderungen nicht so sehr davon abzuhängen scheinen, was an den Universitäten passiert, sondern was THE oder die Wissenschaftspolitik tun. Pannen bei der Datenverarbeitung haben wir noch gar nicht angesprochen. Doch auch dafür finden sich bei der Online-Recherche einige Hinweise. Schließlich bleibt die Frage, ob manche Universitäten vielleicht "kreativ" mit den Zahlen umgehen, die ihre Position auf der Weltrangliste mitbestimmen.

Kriterien werden nach Belieben angepasst

Erwähnenswert ist auch, dass THE bis 2016 unterschiedliche Kriterien für die vier Bereiche (1) Geisteswissenschaften, (2) Gesundheits-, Lebens- und Naturwissenschaften, (3) Ingenieurwissenschaften und Technologie sowie schließlich (4) Sozialwissenschaften verwendete. So spielten bei Ersteren die Zitationen in Datenbanken nur eine wesentlich geringere Rolle, dafür waren Lehre und Forschung von größerer Bedeutung.

Seit 2017 werden alle Bereiche über einen Kamm geschert, nämlich den der Ingenieurwissenschaften und Technologie. Es ist anzunehmen, dass Universitäten, die stark auf Geistes- und Sozialwissenschaften bauen, dadurch benachteiligt werden. Wir erinnern uns zudem daran, dass aus den Bereichen (2) und (3) sehr viel mehr Wissenschaftler an der Befragung teilgenommen haben als (1) und (4). Auch das beeinflusst das Ergebnis.

Im Zeitalter des New Public Management scheint zu gelten: Kein Problem, wenn man Quatsch misst, so lange man nur misst. Und vergleicht. Die THE Ranglisten prägen die Hochschullandschaft seit Jahren. Demokratisch abgestimmt war das nie. Studierenden und Wissenschaftlern wurde auch kein Mitspracherecht über die Kriterien eingeräumt. Die Regeln bestimmte früher ein britisches Medienhaus, heute eine US-amerikanische Investmentfirma. Dabei scheint THE in Kürze wieder den Besitzer zu wechseln.

Warum spielt der Rest der Welt mit?

"Traue keiner Statistik, die du nicht selbst gefälscht hast!", ist ein geflügeltes Wort im Umgang mit Statistiken. Für den Umgang mit Ranglisten scheint Ähnliches zu gelten, nämlich: "Traue keiner Rangliste, deren Kriterien du nicht selbst aufgestellt hast!" Die Auswahlkriterien sollten zumindest transparent kommuniziert werden. Ich kann mich an keinen Medienbericht erinnern, der hier zuvor den Finger tief in die Wunde gelegt hätte.

Selbst den wenigsten Wissenschaftlern dürften die Fakten dieses Artikels bekannt sein. Es herrscht vor allem Pragmatismus und Anpassungsdruck, wenn etwa die Universitätsleitung Zielvorgaben für Ranglistenplätze vorgibt. Dabei sollte man noch einmal darüber nachdenken, dass dieses im englischsprachigen Raum entwickelte Werkzeug vor allem den englischsprachigen Universitäten dient. Wieso spielt der Rest der Welt dabei einfach so mit?