Kluger-Hans-Effekt: Wenn KI-Systeme aus den falschen Gründen Recht haben
KI-Systeme erreichen oft erstaunlich gute Testergebnisse. Doch manchmal täuscht der Erfolg. Wie beim "Klugen Hans" kommen sie auf richtige Antworten – aus völlig falschen Gründen.
Bei der Nutzung Künstlicher Intelligenz (KI) muss uns allen bewusst sein, dass die KI alles andere als fehlerfrei ist. Zwar ist sie in immer mehr Einsatzgebieten unseres Alltags und auch in diffizilen Bereichen, wie der Medizin, im Einsatz. Die KI wird für Qualitätskontrollen eingesetzt und kann zuverlässig fehlerhafte Bauteile erkennen und dadurch humanes Personal ersetzen. Aber sie ist nicht perfekt.
KI-Journalismus oder KI-Verurteilung?
Allerdings kann es auch bei der Überprüfung von mutmaßlichen Fehlern von Künstlicher Intelligenz zu unklaren Verhältnissen kommen. So titelt die New York Times "Yale suspendiert Wissenschaftlerin, nachdem KI-gestützte Nachrichtenseite sie terroristischer Verbindungen bezichtigt".
Andere Medien, auch im Ausland, übernehmen den Gedanken. Sie lautet der Titel eines einschlägigen Artikels im größten griechischen Internetportal in.gr "Universität Yale – Forscherin suspendiert, weil künstliche Intelligenz sie zur Terroristin machte".
Das erweckt den Anschein, als habe die KI über das Schicksal der Wissenschaftlerin, Helyeh Doutaghi, entschieden. Die vorläufig geschasste Juristin Doutaghi selbst geht in ihrer Stellungnahme zum Thema darauf ein, dass die ersten Beschuldigungen gegen sie auf "KI-genierte Verleumdungen" basieren.
Offenbar kamen erste Beschuldigungen gegen Doutaghi, dass sie angeblich Mitglied der palästinensischen Organisation Samidoun sei, tatsächlich von der KI-gestützten Internetseite Jewish Onliner. Das palästinensische Gefangenensolidaritätsnetzwerk wird in den USA, Kanada und Israel als terroristische Vereinigung eingestuft.
Auch in Deutschland wurde das Netzwerk nach dem 7. Oktober 2023 durch das Bundesinnenministerium verboten. Die Entscheidung zur Suspendierung wurde folgerichtig nicht von einer KI getroffen, sondern von einer Kommission, vor der Doutaghi an der Yale Law School zitiert wurde.
Lesen Sie auch
Urheberrecht und KI: Was Nutzer jetzt wissen müssen
Hier spielte letztlich der Faktor Mensch und die von Doutaghi als McCarthy-artig eingestufte Reaktion der juristischen Fakultät von Yale eine Rolle. Doutaghi beteuert, kein Mitglied von Samidoun zu sein. Jedoch soll sie an von der Organisation gesponserten Veranstaltungen zur Unterstützung palästinensischer Anliegen teilgenommen haben. Laut der Yale Law School stellen diese Vorwürfe gegen sie "potenziell rechtswidriges Verhalten" dar.
Im Blog Gizmodo wird spekuliert, ob und inwieweit die KI im Fall Doutaghi Halluzinationen gehabt haben könnte.
Doch auch der Artikelautor Thomas Maxwell kann nicht beweisen, dass die KI für die Vorwürfe verantwortlich ist. Er kann es lediglich vermuten. Wörtlich heißt es:
Jewish Onliner äußert sich vage dazu, wie KI zur Erstellung seiner Artikel eingesetzt wird. Die Technologie ist jedoch dafür bekannt, viele Fehler zu machen und unwahre Informationen zu fälschen. Es ist durchaus möglich, dass Jewish Onliner sich bei der Informationsbeschaffung für den Artikel auf KI stützte. Dies könnte die Redaktion haftbar machen, wenn sie ihre Artikel nicht sorgfältig und mit der gebotenen Sorgfalt verfasst hat.
Der kluge Hans und die Legende vom rechnenden Pferd
Die Causa Doutaghi dürfte noch einige Zeit Medien und Juristen beschäftigen.
In einer anderen wissenschaftlichen Disziplin übt sich ein Forschungsteam der Technischen Universität Berlin, welches den Kluger-Hans-Effekt, eine mögliche Fehlerquelle von KI-Modellen, untersucht.
Der Effekt hat seinen Namen von Hans, einem Pferd, dem Wilhelm von Osten Anfang des 20. Jahrhunderts das Rechnen beigebracht haben wollte, und dessen vermeintliche Rechenkünste er einer verblüfften Öffentlichkeit präsentierte. Freilich konnte der Hengst nicht wirklich rechnen, er reagierte auf kleine, unbewusste Veränderungen von Mimik und Körperhaltung seines Ausbilders.
Auf die KI übertragen geht es beim Kluger-Hans-Effekt darum, dass die Modelle bei Tests zuverlässig zu richtigen Ergebnissen kommen, dies aber – wie bei Hans dem Pferd – aufgrund falscher Annahmen geschieht. Dadurch fallen eventuelle Fehlerquellen eines KI-Modells bei den Tests zunächst nicht auf, sorgen aber bei späteren Anwendungen für Fehler.
Die Studie von Jacob Kauffmann und anderen wurde in dieser Woche bei der Digital Object Identifier Foundation veröffentlicht. Sie beschäftigt sich mit Modellen in der medizinischen Diagnose und zum Finden von Produktionsfehlern in der Industrie.
Marcus Liwicki, Vizerektor für künstliche Intelligenz und Leiter der Forschungsgruppe maschinelles Lernen, Luleå University of Technology, Schweden, hat die Studienergebnisse eingeordnet.
Er verweist auf einen zehn Jahre alten Kluger-Hans-Effekt, der bei der Erkennung von Panzern einen im Ernstfall fatalen Fehler machte. Das untersuchte System, das deutsche und US-amerikanische Kampfpanzer erkennen sollte, hatte nicht auf das Kriegsgerät, sondern auf den jeweiligen Hintergrund geachtet. Im Wald vermutete es deutsche Panzer, in der Wüste amerikanische.
Eine wichtige, oft besprochene Kategorie ist der Training-set-Bias, also dass Dinge, die häufig in den Trainingsdaten vorkommen, vom Modell reflektiert werden. Ein Beispiel ist, dass ChatGPT oft "Doktor" und "Software-Entwickler" mit männlichen Personen gleichsetzt und "Gehilfe" mit weiblichen – oder dass Kriminelle in bestimmten US-Städten oft als dunkelhäutige Personen dargestellt werden.
Marcus Liwicki
Oft blieben solche Klischees zunächst unbemerkt.
Die frische Studie betrachtet den Effekt beim unüberwachten Lernen bei Covid-19-Infektionen und bei der Einordnung von industriellen Daten. Die Autoren wollten herausfinden, ob die Modelle aus den Bereichen Repräsentationslernen und Anomaliedetektion den falschen Weg nutzen, um zu einem richtigen Ergebnis zu kommen.
Beim Repräsentationslernen wurden dem Modell Bilder von Lungen mit und ohne Covid-19-Infektion präsentiert. So konnte das Modell einen homogenen Datensatz von nicht infizierten Lungen korrekt einordnen. Bei einem nicht homogenen, gemischten Datensatz ergab sich eine Falsch-Positiv-Rate von knapp 50 Prozent.
Bei der Suche nach der Ursache entdeckten die Forscher, dass einige Bilder nicht aufgrund des Erscheinungsbilds der Lunge eingeordnet wurden, sondern zum Beispiel auf Basis von Notizen am Rand der Bilder. Das Modell kann demnach mit Bildern, die auf bestimmte Art beschriftet wurden, regelrecht in die Irre geführt werden. Es kann somit Bilder ohne oder mit anderer Beschriftung nicht mehr korrekt einordnen.
Ein Problem ist laut den Autoren der Fokus des unsupervised-learning-Modells auf dieses Detail – also der Kluger-Hans-Effekt. Ein Test eines Modells zur Anomaliedetektion, die Suche nach Fehlstellen in einem Holzteil, lieferte vergleichbare Resultate.
IQ von 130, aber unfähig, nachzudenken?
Kurz formuliert gibt es viele Probleme und Hürden. Generell ist es mit automatischen Verfahren oft so: Sobald man einen automatischen Test erstellt, findet man sehr schnell eine KI, die sehr gute Ergebnisse erzielt, jedoch generell nicht "schlauer" geworden ist.
Marcus Liwicki
So würden Modelle bei standardisierten Intelligenztests mittlerweile locker einen IQ von mehr als 130 erreichen. Bei einer Variation der Fragestellung würden sie dagegen scheitern.
Gemäß Prof. Liwicki scheint dies jedoch die KI nicht zu disqualifizieren:
In vielen Bereichen wird geforscht, wie man Vertrauen vergrößern, gesetzliche Regulierungen verbessern und verantwortungsvolle Systeme erstellen kann. Es wird noch einige Jahrzehnte dauern, aber KI-Systeme werden besser und besser – und helfen uns mehr und mehr im Alltag. […]
In der Medizin vertraue ich schon lieber einem KI-Assistenzsystem, das Zugriff auf tausende von Krankheiten und hunderte von Varianten und Verläufen hat, als einem Allgemeinarzt, bei dem oft nur limitiertes Spezialwissen vorhanden ist. Am besten ist oft immer noch eine Kombination aus beidem, KI und Mensch: ein auf Menschen fokussierter (human-centered) Ansatz.
Marcus Liwicki