KI: Vertrauen in den Menschen – oder ein gefährlicher Irrglaube?

KI soll Menschen nicht ersetzen, heißt es oft. Der Mensch müsse stets die finale Kontrolle behalten. Doch neue Studien zeigen: Das könnte ein fataler Irrtum sein.

Man kann sich gegenwärtig kaum des Eindrucks erwehren, dass für jedes Problem in Wirtschaft, Gesellschaft und Politik der Blick zur KI geht und massiv in KI-Lösungen investiert wird.

Beispielsweise setzt Frankreich auf Radarfallen, die KI nutzen, und Strafen ausstellen kann, wenn der Fahrer ein Handy ans Ohr hielt. Und New York setzt in Bussen des öffentlichen Nahverkehrs Videokameras ein, die KI nutzen, um Strafen für falsch parkende Autos zu verteilen.

Für jedes Problem eine KI-Lösung

Es herrscht Goldgräberstimmung im Land der KI. Bei der grundsätzlichen Frage, wie beim rasanten Fortschritt der KI diese genutzt und zugleich kontrolliert werden kann, spielt der Mensch als Letztentscheider eine zentrale Rolle, der den Lösungsvorschlag der KI überprüfen und damit für größtmögliche Sicherheit sorgen soll.

Welche andere Alternative mag es auch geben, die Ergebnisse der KI zu nutzen, ohne sich dieser auf Gedeih und Verderb dieser auszusetzen?

Cory Doctorow, Autor, Journalist und Hacker, schreibt:

Human in the Loop (deutsch: "Der Mensch in der Schleife") ist eine verlockende Lösung für algorithmische Fehlschläge, Voreingenommenheit und unerwartete Fehler, und so ist "wir setzen einen Menschen in die Schleife" die allumfassende Antwort auf jeden Einwand, eine unvollkommene KI mit einer Anwendung zu betrauen, bei der es um viel geht.

Menschliche Kontrolle

Aber wie gut ist der Mensch als kontrollierende Letztinstanz? Der Mathematiker Ben Green ist bereits in einer Studie im Jahr 2022 dieser Frage auf den Grund gegangen. Sein Ausgangspunkt:

Da Algorithmen weltweit zu einem einflussreichen Bestandteil der Entscheidungsfindung der Regierung werden, haben die politischen Entscheidungsträger darüber diskutiert, wie Regierungen die Vorteile von Algorithmen erzielen und gleichzeitig die Schäden von Algorithmen verhindern können.

Ein Mechanismus, der zu einem Kernstück der globalen Bemühungen zur Regulierung von Regierungsalgorithmen geworden ist, besteht darin, die menschliche Aufsicht über algorithmische Entscheidungen zu erfordern. Trotz der weit verbreiteten Hinwendung zur menschlichen Kontrolle beruhen diese Richtlinien auf eine unhinterfragten Annahme: dass Menschen in der Lage sind, die algorithmischen Entscheidungsfindung effektiv zu überwachen.

Green fand mehrere gängige Methoden, um die menschliche Aufsicht über KI zu gewährleisten. Richtlinien legen fest,

• dass Algorithmen von Menschen überwacht werden müssen und welche Entscheidungen das betrifft
• dass Menschen einen Ermessensspielraum haben für den Fall, dass sie die KI überstimmen
• dass die menschliche Aufsicht nicht nur in einem Abnicken bestehen darf
• dass der Mensch die KI grundsätzlich überstimmen kann

Menschliche Schwachstellen

Die erste Schwachstelle der Richtlinie menschlicher Aufsicht besteht darin, dass sie kaum eine empirische Grundlage hat. Die überwiegende Mehrheit der Forschungsergebnisse deutet darauf hin, dass Menschen keine der gewünschten Überwachungsfunktionen zuverlässig ausführen können.

Ben Green

Tatsächlich findet Green zahlreiche Studien, die belegen, dass die naheliegende Lösung des KI-Mensch-Gespanns eine traumhafte Win-Win-Situation für die beste aller möglichen Welt ist, an der Wirklichkeit schmerzhaft scheitert.

Automation-Bias

Das Hauptproblem: Der Automations-Bias ist das verhaltenspsychologische Phänomen, dass Menschen entgegen ihres besseren Wissen auf Vorschläge und Entscheidungen von Maschinen vertrauen.

Green führt eine ganze Reihe von Beispielen hierfür an. Die Automatisierung eines Entscheidungsprozess läuft zudem Gefahr, dass das Gefühl der Kontrolle, der Verantwortung und des moralischen Handelns bei den Bedienern abnimmt.

Unmenschliche Fehler

Green bringt ein überzeugendes Beispiel: Die Londoner Polizei überschätzte maßlos die Glaubwürdigkeit eines Live-Gesichtserkennungssystems. Polizisten, die mit dem System arbeiteten, schätzten die computergenerierte Übereinstimmungen der Gesichtserkennung dreimal so hoch ein, wie die tatsächliche Trefferquote in Wirklichkeit war.

Diese trügerische Sicherheit führte in den USA zu dem Fall einer fehlerhaften Verhaftung. Das Detroit Police Department nahm einen Mann ausschließlich aufgrund einer eindeutig falschen Gesichtserkennung fest.

Einseitige Überstimmung

Auf der Suche nach bewussten Abweichungen von den Ergebnissen der künstlichen Intelligenz wird Green bei den Richtern in den USA fündig. Allerdings ist das Ergebnis ebenso wenig beruhigend. Denn die Richter weichen zwar regelmäßig von den algorithmischen Empfehlungen ab, meistens aber zuungunsten des Angeklagten.

Belege aus mehreren US-Gerichtsbarkeiten zeigen, dass sich Richter häufig zudem über Entlassungsempfehlungen hinwegsetzen.

Auch bei der Festlegung des Strafmaßes zeigt sich ein Muster, wenn Richter von dem Vorschlag des Algorithmus abweichen. Bei gleichem "Risikowert" setzen Richter für afroamerikanische Angeklagte häufig strengere Strafentscheidungen fest als bei weißen Angeklagten.

Die Folge: Entgegen der Hoffnung, dass Algorithmen im Rechtswesen für mehr Gerechtigkeit sorgen, indem sie einen möglichen bewussten oder unbewussten Rassismus der Richter überwinden helfen, kommt es gerade hierdurch zu einer Vergrößerung der Ungerechtigkeit.

Dies führt im Endeffekt dazu, dass die Einführung von Risikobewertungen die rassischen Ungleichheiten in der Untersuchungshaft noch verschärft.

Aufklärung hilft?

Green findet eine Reihe von Studien, die belegen, dass auch Erklärung und Aufklärung die Fähigkeit der Menschen, algorithmische Vorhersagen zu nutzen, keineswegs verbessern. Im Gegenteil laufen solche Erklärungen vielmehr Gefahr, schädliche Nebenwirkungen nach sich zu ziehen, dass die Menschen, die die künstlichen Hilfen nutzen, dazu veranlasst werden, den Empfehlungen anschließend mehr Vertrauen zu schenken.

Paradoxerweise reduziert auch die Transparenz von Algorithmen die Fähigkeit der Menschen, Modellfehler zu erkennen und zu korrigieren.

Algorithmen in Verwaltung und Politik

Green warnt vor den weitreichenden Konsequenzen, wenn die Politik sich immer weiter bei der künstlichen Intelligenz und der Verwendung von Algorithmen bedient und der Mensch auf die Kontrollinstanz reduziert wird, um allen Zweifeln zu begegnen:

Algorithmen in der Verwaltung bergen erhebliche Risiken in Bezug auf fehleranfällige, voreingenommene und unflexible Algorithmen, die politische Entscheidungen von großer Tragweite treffen.

Diese Bedenken stellen die Zweckmäßigkeit des Einsatzes von Algorithmen in der Verwaltung in Frage. Als Antwort darauf präsentieren politische Entscheidungsträger die menschliche Aufsicht als das Heilmittel, das es den Regierungen ermöglicht, die Vorteile von Algorithmen zu nutzen, ohne die damit verbundenen Nachteile in Kauf zu nehmen.

Wäre eine der vorgeschlagenen Formen der menschlichen Aufsicht wirksam, dann würde dieses Heilmittel vielleicht einen wirksamen Kompromiss zwischen den Vorteilen und Risiken von staatlichen Algorithmen darstellen.

In Anbetracht der Grenzen menschlicher Aufsicht sind die Maßnahmen zur menschlichen Aufsicht jedoch nicht in der Lage, die zugrunde liegenden Bedenken zu entkräften. Stattdessen bieten diese Maßnahmen lediglich einen Deckmantel für grundlegende Bedenken gegen den Einsatz von Algorithmen in der staatlichen Entscheidungsfindung. Im Gegenzug rechtfertigt die menschliche Aufsichtspolitik die unangemessene Integration von Algorithmen in die staatliche Entscheidungsfindung.

Daher sind auch Rufe, dass menschliche Kontrolle grundsätzlich auch die Möglichkeit haben muss, automatisierte Entscheidung aufheben zu können, keine Lösung. Denn so sinnvoll das ist, so sehr läuft dies Gefahr, den Anschein einer Qualitätskontrolle zu erwecken, ohne dabei das wirkliche Problem anzugehen.

Menschen verlieren ihre Fähigkeiten

Cory Doctorow reflektiert über die Konsequenzen der zunehmenden Nutzung von KI in wichtigen Entscheidungsprozessen:

Wenn Experten mit Schlussfolgerungen statt mit zu lösenden Problemen konfrontiert werden, verlieren sie die Fähigkeit und die Vertrautheit damit, wie alle Faktoren, die für eine Schlussfolgerung abgewogen werden müssen, zusammenpassen. Die Überprüfung des letzten Schrittes einer Entscheidung, ohne die zugrundeliegende Arbeit geleistet zu haben, ist bei weitem nicht der einfachste Schritt, um zu einer Entscheidung zu gelangen, sondern kann viel schwieriger sein zuverlässig durchzuführen.

Die Folgen dieses Verlustes der eigenen selbständigen Fähigkeit sind gravierend. Menschen fühlen sich Schritt für Schritt weniger kompetent, um die KI zu überstimmen und tendieren eher zu der Annahme, sie habe schon Recht, selbst wenn die eigene Einschätzung dem widersprechen sollte.

Es entsteht etwas, was man mit dem Philosophen Günther Anders als "Promethische Scham 2.0" bezeichnen könnte.

Outsorcing der Verantwortung

Green bringt die Problematik der menschlichen Kontrolle der künstlichen Entscheidungen auf den Punkt:

Die politischen Entscheidungsträger stellen die menschliche Aufsicht als das Heilmittel dar, das es den Regierungen ermöglicht, die Vorteile von Algorithmen zu nutzen, ohne die damit verbundenen Nachteile in Kauf zu nehmen.

Sie (Regierungen und Hersteller – A. W.) können einen Algorithmus fördern, indem sie verkünden, dass seine Fähigkeiten die des Menschen übertreffen, während sie gleichzeitig den Algorithmus und die für ihn Verantwortlichen vor einer Überprüfung verteidigen, indem sie auf die Sicherheit verweisen, die (angeblich) durch die menschliche Aufsicht gewährleistet wird.

Cory Doctorow greift diesen Punkt auf und fragt:

Warum reden wir dann immer noch davon, dass KI die Bürokratie von Regierungen und Unternehmen ersetzen wird, indem sie Entscheidungen in Maschinengeschwindigkeit trifft, die von Menschen überwacht werden?

Was aber, wenn die Rechenschaftspflicht ein Merkmal und kein Fehler ist? Was wäre, wenn die Regierungen, die unter enormem Kostendruck stehen, herausfinden, wie sie auch auf Kosten von Menschen mit sehr geringem Sozialkapital sparen können, und alles auf die menschlichen Akteure schieben?

Lösungsvorschlag

In seiner Untersuchung unterbreitet Green folgenden Lösungsansatz:

Angesichts dieser Mängel schlage ich eine Verlagerung von menschlicher zu institutioneller Aufsicht als zentralen Mechanismus zur Regulierung von Regierungsalgorithmen vor.

Dieser institutionelle Ansatz funktioniert in zwei Stufen. Zunächst müssen die Behörden begründen, dass es angemessen ist, einen Algorithmus in die Entscheidungsfindung einzubeziehen, und dass alle vorgeschlagenen Formen der menschlichen Aufsicht durch empirische Beweise gestützt werden. Zweitens müssen diese Begründungen demokratisch überprüft und genehmigt werden, bevor die Behörde den Algorithmus einführen kann.

Verantwortung

Die Niederlande haben mit KI-Videokameras, die Vergehen im Straßenverkehr ahnden sollen und nun – wie eingangs erwähnt – in Frankreich genutzt werden, bereits Erfahrung. Autofahrer, die sich am Kopf kratzten, wurden für das Telefonieren mit einem Handy am Steuer bestraft.

In New York ist der Einsatz von KI bei der Kontrolle von Falschparkern – trotz menschlicher Kontrollen – nur grenzwertig überzeugend: 3.800 Strafzettel wurden ausgestellt, obwohl Autos völlig korrekt geparkt waren.

Vor wenigen Wochen haben sich US-Präsident Joe Biden und der chinesische Staatschef Xi Jinping sich darauf geeinigt, dass die menschliche Kontrolle zum Einsatz von Atomwaffen beibehalten werden muss und nicht durch eine Künstliche Intelligenz ersetzt werden darf.

Gerade vor dem Hintergrund der auch international angespannten Lage sicherlich eine beruhigende Entscheidung. Ebenso in Anbetracht der möglichen Gefahr eines "Atomkriegs aus Versehen".

Aber, wie gesehen, ist der Mensch keineswegs eine beruhigende Kontrollstation, die vor den Fehlern und Fehlschlüssen der KI in beruhigendem Ausmaß schützen kann.