Kritik an PISA-Studien: "teilweise fehlerhafte Daten und gewagte Schlussfolgerungen"

Update: Wie die OECD mit verfälschenden Forschungsdaten die Bildungspolitik beeinflussen will - Ein Kommentar

Die grundlegende Frage, wieso eine Wirtschaftsinstitution wie die OECD sich mit den PISA-Studien auf einmal dazu berufen fühlte, Bildungsreformen anzustoßen, und welche Interessenkonflikte dabei vielleicht eine Rolle spielen könnten, ist kaum diskutiert worden. Oder was eigentlich die demokratische Legitimation für ein solches Vorgehen sein könnte. Für die meisten ging es nur darum, auf welchem Platz das eigene Land steht, frei nach der Maxime: Ganz egal, was für ein Quatsch da gemessen wird, Hauptsache wir stehen gut da!

Auch das für die Universitäten so wichtige Shanghai-Ranking funktioniert nach demselben Prinzip. Beispiele für die Macht der Zahlen - und die Ohnmacht der Gezählten. Ich muss jetzt doch an Geschichten wie Die Welle denken: Wenn man Leuten weismacht, die Blauäugigen seien intelligenter, dann wollen die einen blaue Augen und die anderen schämen sich. Die Aussage in Zweifel zu ziehen, das traut sich aber kaum jemand.

Nun hat "Die Zeit" den Bildungsforscher und früheren PISA-Zuständigen für Deutschland, Eckhard Klieme, ausführlich zum Thema ans Wort gelassen. Dieser findet deutliche Worte über die Studie:

Sie stellt im Kern bereits bekannte Befunde dar und versieht sie mit neuen schillernden Etiketten, interpretiert Daten teilweise fehlerhaft und zieht gewagte Schlussfolgerungen.

Eckhard Klieme

Das ist ein virtueller Schlag ins Gesicht des ebenfalls deutschen Andreas Schleicher, dem Statistiker hinter den PISA-Studien, mit Sitz im vornehmen Paris. Dieser lobt seine Methodik gerne in den siebten Himmel. Wie man mit Daten Schulen verbessern könne, erklärt er sogar in einem TED-Talk.

Im Psychologie-Grundstudium lernt man, dass eine Messung nicht nur zuverlässig (Stichwort: Reliabilität) sein, also mit einem guten Instrument gemessen werden muss, sondern auch sinnvoll (Stichwort: Validität), also auch wirklich das messen muss, was sie zu messen vorgibt. Ein Zufallsgenerator ist beispielsweise weder ein zuverlässiges noch ein sinnvolles Maß für die Zeit; eine Waage kann äußerst zuverlässig funktionieren - aber ist trotzdem kein sinnvolles Maß für die Zeit.

Bei physikalischen Messgrößen leuchtet uns das sofort ein. Im sozial-psychologischen Bereich scheint unser Denken aber nicht so gut zu funktionieren. Anders ist nicht zu erklären, warum viele den erzeugten Ranglisten von PISA oder Shanghai hinterherlaufen wie ein Bär dem Honigtopf.

Bewerben von Ganztagsschulen

Konkret geht es nun um die Vorwürfe, die OECD würde ein "positives Schulklima" und den Erfolg von Ganztagsschulen auf verfälschende Weise messen. Ersteres sei schlicht als störungsfreier Ablauf definiert, was die Lehrer-Schüler-Beziehung außen vor lässt und auch nur Altbekanntes bestätigt: dass Störungen eben den Lernvorgang behindern.

Politisch in sich hat es aber das Verständnis der OECD von Ganztagsschulen. Dafür wurde dem Bericht nach schlicht erhoben, ob Schulen nachmittags auch Aktivitäten wie Theater oder soziales Engagement anbieten, nicht unbedingt Schulunterricht. Nun muss man wissen, dass solche Angebote an Gymnasien häufiger sind. Wenn also die "wissenschaftliche" Studie im Ergebnis zeigt, dass Schüler von Ganztagsschulen bessere Leistungen erbringen, dann verbergen sich dahinter wahrscheinlich die besseren Leistungen von Gymnasiasten gegenüber anderen Schülern.

Jetzt sollte man einen Schritt weiter denken und sich überlegen, was für ein Interesse die OECD am Bewerben von Ganztagsschulen haben könnte: Elterliche Verpflichtungen können mit beruflichen Pflichten kollidieren. Das ist schlecht für die wirtschaftliche Effizienz. Je weniger Aufgaben Eltern also für die Erziehung übernehmen müssen, desto mehr stehen sie dem Arbeitsmarkt zur Verfügung. Am besten verzichten sie vielleicht gänzlich auf den Kinderwunsch, wie es uns manche Karrieremenschen und Führungspersönlichkeiten vormachen?

Oder um es einmal extremer zu formulieren: Kinder stören den Betriebsablauf; Kinder stören die Produktivität. Dabei sind sie aber notwendige Voraussetzung für eine gesellschaftliche Stabilität, wie man zwar nachdenkend schnell einsehen, aber mit statistischen Methoden nur schwieriger erheben kann. Auch geht es hier um Langzeiteffekte, die auf der politischen Agenda von geringerem Stellenwert sind.

Tja, was interessiert es die OECD, wie viel Zeit Eltern mit ihren Kindern verbringen? Hauptsache, die Wirtschaft läuft und die Arbeitgeber verfügen über möglichst viel uneingeschränkte Arbeitskraft. Bei der Regulierung des Arbeitsrechts stehen die Weichen ja auch seit Längerem auf Arbeitgeberseite.

Und die Moral von der Geschicht'? Kennst du die Definitionen nicht, dann glaub der Studie besser nicht.

Update

Durch die Diskussion mit Lesern stieß ich auf die Pressemitteilung der OECD vom 29. Januar, der die im Artikel genannte Präsentation des OECD-Direktors für Bildung Andreas Schleicher entsprechen dürfte. Darin fällt erst einmal auf, dass die Auswertung mit Förderung der Vodafone Stiftung Deutschland erstellt wurde.

Inhaltlich ist an der Interpretation interessant, dass zwar eine niedrige Lehrerfluktuation und mehr Motivation des Lehrkörpers durch die Schulleitung helfen sollen, jedoch keine Investitionen in Schulen, um etwa die Klassengröße zu verringern oder bessere Computer anzuschaffen. Ein Blick in die Originalveröffentlichung bestätigt, dass die Lernumgebung über ein "diszipliniertes Klima" und Schwänzen definiert wurde.

Besonders heikel ist die Empfehlung über Ganztagsangebote aus der Pressemitteilung: "So zeigt die Studie insbesondere für Deutschland einen positiven Effekt von schulischen Aktivitäten jenseits des Unterrichts. Dies lässt darauf schließen, dass sich Investitionen in Ganztagsangebote positiv auf den Lernerfolg sozial benachteiligter Schülerinnen und Schüler auswirken."

Wenn es stimmt, wie der Bildungsforscher Eckhard Klieme kritisierte und mir auch plausibel erscheint, dass solche Angebote an Gymnasien häufiger sind, dann zeigt die Auswertung lediglich – verzerrt über die Analyse der Ganztagsangebote –, dass Schüler auf Gymnasien besser sind als auf anderen Schulformen.

Die Feststellung, dass die OECD-Auswertung schulische Sachverhalte verkürzt und verfälscht, bleibt damit bestehen.