Vom fast grenzenlosen Vertrauen in Maschinen

Wissenschaftler haben getestet, ob und wann Studenten aufmerksam werden, wenn der Online-Taschenrechner "lügt" und falsche Ergebnisse ausgibt

Wir sind mitunter skeptisch gegenüber Menschen, vor allem gegenüber Menschen, die anderer Meinung sind und die wir nicht mögen. Normalerweise aber vertrauen wir Maschinen, weil wir unterstellen, dass sie objektiv und zuverlässig arbeiten und gar nicht schummeln können. Bei komplexen KI-Programmen und Maschinenlernen wissen wir mittlerweile, dass es auf die Auswahl der Daten ankommt, damit bei smarten Maschinen keine Vorurteile entstehen. Doch bei "primitiven" Maschinen wie Rechnern, die festgelegte Befehle umsetzen, sollte es keine Fehler geben, daher werden wir normalerweise vertrauen, dass sie richtige Ergebnisse ausgeben, wenn wir uns beim Eingeben nicht vertippt haben.

Wissenschaftler der Texas Tech University haben untersucht, wie sie in PLoS One schreiben, wann Benutzer von digitalen Rechnern misstrauisch gegenüber dem Ergebnis werden und nachprüfen, ob sie stimmen. Um das festzustellen, haben sie einen digitalen Rechner programmiert, der sich auf dem Computerbildschirm bedienen lässt und der auch lügen, also falsche Ergebnisse ausgeben kann.

Ausgangspunkt war der behauptete Niedergang der mathematischen, auch der elementaren rechnerischen Fertigkeiten bei Studenten und die Vermutung, dass womöglich die Taschen- und digitalen Rechner daran schuld sein könnten. Da Rechner aber so weit verbreitet sind, lasse sich die Hypothese nicht prüfen, wohl aber, ob es ein zu hohes Vertrauen in diese gibt, so dass Ergebnisse einfach hingenommen werden. Die Wissenschaftler verweisen auf Studien, die offenbarten, dass Studenten fast niemals bei der Eingabe das Ergebnis abschätzen, bevor sie es ausrechnen lassen, und danach auch kaum überprüfen, ob das Ergebnis richtig sein könnte. Wenn Ergebnisse vorher normalerweise nicht aktiv abgeschätzt werden, wollten die Wissenschaftler herausfinden, wann Benutzer automatisch - passiv - ins Zweifeln kommen. Das wurde am Ende erfasst, wenn die Versuchspersonen befragt wurden, wenn sie das Ergebnis veränderten oder wenn sie den Rechner noch einmal benutzten (der aber immer dasselbe falsche Ergebnis anzeigt).

Falsche Ergebnisse von schwereren Aufgaben werden eher akzeptiert

Die Wissenschaftler setzten bei Tests eine Gruppe von Versuchspersonen vor einen Bildschirm mit dem Rechner, der bei bestimmten Aufgaben "lügt", bei der Kontrollgruppe rechnete er richtig und konnten Fehler nur durch falsche Eingabe entstehen. Die Versuchspersonen mussten den Rechner nicht benutzen, sondern hätten die ihnen vorgelegten Rechenaufgaben auch im Kopf ausführen können, das machte aber, unabhängig von den Rechenfähigkeiten, praktisch niemand. Zudem wurden manche Ergebnisse verzögert ausgegeben, was die ungeduldig werdenden Versuchspersonen dazu bringen sollte, das erwartete Ergebnis abzuschätzen oder im Kopf zu berechnen.

Beim ersten Versuch, bei dem die Testgruppe bei jeder dritten und fünften Berechnung von insgesamt 6 Aufgaben in abstrakter oder konkreter Form ein leicht falsches Ergebnis erhielten, stellte sich heraus, dass nur 20 von 94 Versuchspersonen (21%) einen Verdacht bei der dritten Aufgabe und nur 8 von 109 (7,3%) bei der fünften Aufgabe zeigten. In der Kontrollgruppe mit dem richtig funktionierenden Rechner überprüften bei der dritten Frage nur 1,67% die Eingabe und bei der fünften niemand. Korrekt waren 97,5% bzw. 86,7% der eingegebenen Ergebnisse.

In beiden Gruppen spielte keine Rolle, ob die Rechenaufgabe abstrakt oder konkret formuliert wurde. Auch die Verzögerung brachte keine Unterschiede mit sich. Aufgabe 5 war schwieriger, weswegen vermutlich hier deutlich weniger misstrauisch wurden. Bei denjenigen, die besser rechnen konnten, was mit einem Test zuvor eruiert wurde, entstand eher Misstrauen bei falschen Ergebnissen. Allerdings hatte das Ergebnis für die Versuchspersonen keine weiteren Folgen, was vermutlich anders wäre, wenn es wirklich um Geld und Verluste oder Gewinne ginge.

Fehler müssen sehr hoch sein, um Skepsis auszulösen

Bei einem zweiten Versuch wurde die Abweichung vom richtigen Ergebnis um 30%, 60%, 90% und 120% hochgesetzt. Eine Schwelle wurde erst bei 120% erreicht. Bei der Frage, wie alt die 1945 geborene Frau 1994 war, wären das 114 Jahre, was ganz offensichtlich falsch sein. Hier war das Misstrauen höher: 61% bzw. 14,5%. Es wurden nicht nur Größen berechnet, geprüft wurde auch konzeptuelles Wissen, beispielsweise sollte 0,5 x 0,9 berechnet werden, ausgegeben wurde vom Lügenrechner 3,45, was nur bei 26 Prozent auf Skepsis stieß, wobei hätte klar sein müssen, dass das Ergebnis, auch ohne es auszurechnen, unter 1 liegen muss.

Allerdings gaben am Ende 40 Prozent der Versuchspersonen an, dass sie misstrauisch geworden seien, bei denjenigen mit guten Rechenfähigkeiten war der Anteil entsprechend höher. Bei demselben Test, bei dem aber 12 der besten Gewinnern eine Prämie von 5 US-Dollar erhielten, lag das Misstrauen mit 44 Prozent der Versuchspersonen etwas höher.

Ein Ergebnis der Studie ist nicht nur die Bestätigung, dass Rechnern zu viel Vertrauen entgegengebracht wird und ein falsches Ergebnis nicht einmal grob abgeschätzt wird, also wie bei der Frau, die 1942 geboren wurde und die nach dem Rechner bis 1994 114 Jahre alt wurde. Das liegt auch an geringen Rechenfertigkeiten. 15 Prozent der Versuchspersonen aller Tests wussten etwa nicht, wie sie 15% von 21 berechnen könnten. Selbst Versuchspersonen mit guten Rechenfähigkeiten verzichteten auch bei einfachen Aufgaben kaum auf den Rechner und benutzen ihn, wenn er bei der Hand ist.

Gezeigt hat sich auch, dass viele Versuchspersonen, wenn sie eine falsche Rechenweise, also etwa addieren statt subtrahieren, eingeben, das entsprechend nicht plausible Ergebnis nicht bemerken, sondern akzeptieren. Während Versuchspersonen mit besseren Rechenfähigkeiten öfter Fehler entdecken, muss für viele der Irrtum sehr übertrieben sein, um darauf überhaupt zu reagieren. Ein bisschen hilft, wenn Aufgaben nicht abstrakt, sondern konkret formuliert werden, also nicht "15% von 21 = …", sondern: "Du hast fertig gegessen und die Rechnung beträgt 21. Du willst 15 Prozent Trinkgeld geben. Wie viel Trinkgeld ist das?"