Seite 2: Kopfnoten vom Computer

In einigen unserer Kurse haben wir über hunderttausend Teilnehmerinnen. Wenn man so viele Studierende hat, ist eine Benotung in Handarbeit schlicht unmöglich.

So äußerte sich kürzlich Johannes Heinlein von edX. In einigen Internetkursen des Portals kommt künstliche Intelligenz zum Einsatz, mit deren Hilfe mehrseitige Aufsätze korrigiert werden. Das Verfahren beruht auf einem Korpus namens edX Enhanced AI Scoring Engine.

Konkret funktioniert die maschinelle Benotung so: Zunächst wird eine möglichst repräsentative Sammlung von Aufsätzen von Menschen benotet. Die Textsammlung wird samt den jeweiligen Noten eingespeist. Der Computer analysiert die Datensammlung und ermittelt statistisch, welche textlichen Faktoren für eine gute Note ausschlaggebend waren. Die Maschine lernt sozusagen, welche Eigenschaften einen guten Aufsatz (zu diesem Thema) ausmachen. Diese Regeln kann der Computer danach bei der Benotung anwenden.

Dieses statistische Verfahren funktioniert einigermaßen, hat aber unvermeidlich den Nachteil, dass es immer nur alte Bewertungsmaßstäbe auf neue Texte anwenden kann. Ein origineller Einfall kann aus diesem Grund die Note nur verschlechtern, keinesfalls verbessern: Schließlich ist er in dem Schema "Was einen guten Aufsatz ausmacht", nicht vorgesehen. Auch früher haben Studierende erfahren müssen, dass Originalität in der universitären Praxis eher schadet als nützt. Die automatisierte Korrektur treibt das auf die Spitze. Wer die Maschinen befriedigen will, hat gar keine andere Wahl als bereits Bekanntes einzupauken und schematisch wiederzugeben.

Kopfnoten von Maschinen statt von einem Lehrer gibt es schon lange. In den USA und Großbritannien werden nun immer häufiger freie Aufsätze von Schülern und Studenten maschinell bewertet. Der US-amerikanischen Educational Testing Service hat ein Programm namens E-Rater entwickelt, das seit zehn Jahren zur Benotung eingesetzt wird. Ab 2015 sollen mit dieser Technik alle Aufsätze im Rahmen des Zulassungstests für die Hochschulen SAT bewertet werden. Ein weiteres Beispiel für den Einsatz ist der Graduate Management Admission Test (GMAT), dessen Ergebnis über den Zugang zu Masters-Studiengängen entscheidet.

Der E-Rater wurde nicht programmiert, um Individualität, Humor oder poetische Inspiration zu würdigen, Computer sind auch nicht für ihren Humor berühmt.

So heißt es in einem Ratgeber für Studierende, denen der GMAT bevorsteht. Wer Illusionen über die automatisierte Benotung hatte, wird hier eines besseren belehrt. Das Programm hat eine starke Abneigung gegen neue Ideen.

Wie stellt man den E-Rater zufrieden? Gestaltet euren Aufsatz äußerst rigide und übersichtlich. Der Aufbau muss den anderen Aufsätzen mit einer guten Note ähneln. Leitet eure Absätze ein mit Ausdrücken wie "Zum Beispiel" oder "Daher". … Fehler, die eure Note ruinieren: Versucht keinesfalls, einen kreativen oder einzigartigen Aufsatz zu schreiben! Der E-Rater beurteilt den Text in Bezug auf die anderen Aufsätze in seiner Datenbank. Deshalb wird er eine neue Argumentation für eine Abweichung halten, die euch immer schaden wird.

Dass solche Programme Einzug in die Hochschulbildung halten, sorgt sorgt unter den Dozenten für Unmut, auch weil sich die Metrik des E-Rater scheinbar ziemlich einfach überlisten lässt. Das Tempo, mit dem die Lehrmaschinen Noten ausstoßen, können Menschen allerdings kaum übertreffen: Laut der New York Times kann das Programm 16 000 Aufsätze in 20 Sekunden verarbeiten.

Auf Kritik an der automatisierten Benotung von Prüfungen entgegnen die Softwarehersteller und Universitäten in der Regel, dass die Computer lediglich ergänzend und zur Qualitätskontrolle eingesetzt würden. Tatsächlich wird jeder Aufsatz von mindestens einem Menschen gelesen; weichen die Noten von Mensch und Maschine deutlich voneinander ab, wird ein dritter Korrektor hinzugezogen. Allerdings sind sich die Korrektoren durchaus darüber bewusst, dass sie sich Probleme einhandeln und ihren Kollegen Arbeit machen, wenn sie von der automatisch generierten Note abweichen.

Automatische Text- und Verhaltensanalysen verbreiten sich, und MOOCs sind für diese Verfahren ein großes Versuchslabor. Zum Einsatz kommt die Benotung durch andere Teilnehmer, Selbstbenotung, Benotung durch Lehrkräfte und maschineller Benotung in unterschiedlichen Mischungen. Häufig übernehmen dabei Computer oder Peer-Benotung die Vorarbeit. Nutzer werden beispielsweise in Lerngruppen zusammengefasst und benoten ihre Aufsätze gegenseitig. Dann weden diese Aufsätze maschinell bewertet. Erst wenn das Urteil der Menschen und das der Maschinen deutlich auseinander klafft, wird der Aufsatz an eine (bezahlte) akademische Hilfskraft weitergeleitet, die ihn abschließend begutachtet.

Die Technisierung der Lehre wird die pädagogischen Berufe verändern

Ob mit E-Rater massenhaft standardisierte Aufnahmeprüfungen benotet werden oder bei edX mit künstlicher Intelligenz Übungsaufgaben korrigiert werden, die Lehrmaschinen führen nicht zu einer völligen "Automatisierung". Die Technik macht die Lehrkräfte nicht gänzlich überflüssig. Sie gibt ihnen lediglich Instrumente an die Hand, um wesentlich mehr Studierende den Stoff zu vermitteln. Sie verändert die Arbeit der Lehrer und Dozenten.

MOOCs sind nur ein Beispiel für die aktuellen Versuche, mit neuer Technik die Effizienz in der Bildung zu steigern. Die schulische und universitäre Praxis insgesamt wird digitalisiert. Kinder und Jugendliche sollen mit Lernprogrammen arbeiten. Mit Big Data-Analysen Learning Analytics beziehungsweise Educational Data Mining können didaktische Mittel ausgewählt werden, die für eine bestimmte Lerngruppe objektiv am wirksamsten sind.

Begründet werden diese Bemühungen grundsätzlich mit Hinweisen auf eine bessere Qualität der Lehre und des Unterrichts, aber das übergeordnete Ziel ist, die notwendige Arbeitszeit und letztlich die Lohnkosten zu senken. Schulen und Universitäten wurden schon lange als "Lernfabriken" geschmäht. Dennoch blieb der Unterricht weitgehend "Handwerk". Zwar benutzte der Lehrer Medien, aber er benutzte sie eben wie ein Handwerker ein Werkzeug: in eigener Regie. Deshalb war seine konkrete Arbeit schwer kontrollierbar und nicht ohne weiteres ersetzbar. Eben das verändert sich durch die Digitalisierung, Sie schafft die technische Grundlage, um die Arbeit auch im Bildungssektor neu zu teilen und letztlich weniger qualifizierte Arbeitskräfte einzusetzen.

So wird durch ein Programm wie den E-Rater die Arbeit von Lehrkräften nicht etwa "wegrationalisiert". Vielmehr werden die Korrektoren Teil einer Maschinerie, die sich ihrer individuellen Kontrolle entzieht. Durch die Digitalisierung der Interaktion mit den Lernenden wird auch ihr eigenes Arbeitshandel transparent und dem Management zugänglich. In einigen MOOCs übernehmen akademische Hilfskräfte bereits Aufgaben, die früher Professoren erledigten.

Eine Industrialisierung der Bildung? Noch klingt das recht futuristisch und weit hergeholt. Menschliche Arbeitskräfte durch Maschinen zu ersetzen, war immer problematisch, seit vor zweihundert Jahren mit der Mechanisierung der Webstühle die "Programmsteuerung" Einzug in die Produktion hielt. Seitdem wird die Front der Automatisierung immer weiter in Bereiche vorangetrieben, die bislang als unzulänglich für Maschinen galten. Jede neue Generation erlebt verwundert, wie Maschinen Aufgaben erledigen, die ihnen vorher niemand zugetraut hatte.

Die neue Front verläuft heute im Gebiet der sozialen und geistigen Arbeit. Wie weit die Technisierung in diesen Sektoren gehen wird, wird von den Fortschritten des Maschinenlernens abhängen. Die verbreitete instinktive Abneigung dagegen, Software und Robotern das Unterrichten zu überlassen, wird diese Entwicklung jedenfalls bestimmt nicht aufhalten.

Teil 4: Lässt sich Bildung überhaupt industrialisieren?