Auge, Ohr und Gedächtnis der Überwachung - Amazons Zukunft?

KI-gestützte Gesichtserkennung diskriminiert Frauen und Farbige. Microsoft zieht seine Software aus dem Verkehr. Profitieren könnte davon Amazon

Zumindest bei Microsoft zeigen die öffentlichen Bedenken von KI-Forschern und Bürgerrechtlern Wirkung. Wie vergangene Woche bekannt wurde, kündigte Microsofts Präsident Brad Smith an, die hauseigene Gesichtserkennungssoftware nicht an staatliche Behörden verkaufen zu wollen. Das Risiko, unschuldige Menschen zu diskriminieren, sei zu groß, so Smith. Schon im Februar hatte Smith an Regierungen und IT-Unternehmen appelliert, die Nutzung von Gesichtserkennungstechnologie strenger zu regulieren. Mit dem Rückzug aber überlässt Microsoft das Feld der Gesichtserkennungsdienstleister einer noch schlechteren Software, der "Rekognition" von Amazon.

Rekognition soll aus Bild- und Videomaterial Objekte, Gesichter, Texte sowie auch unangemessene Inhalte erkennen können. Eine im Januar veröffentlichte Studie des MIT fand jedoch heraus, dass die Software nicht besonders gut ist. Die getesteten Programme der Firmen Amazon, Microsoft, IBM und Megvii aus China zeigten zwar allesamt keine Schwierigkeiten bei der Erkennung von weißen Männern. Doch bei der Gesichtserkennung von Frauen und Dunkelhäutigen leisten sich die Programme häufig Fehler.

Allen voran Amazons Rekognition (Vorhersageungleichheit bei Fußgängererkennung von autonomen Fahrzeugen). Rekognition identifiziert durchschnittlich jede fünfte Frau als Mann. Noch schlechter sieht es bei Frauen mit dunkler Hautfarbe aus, jede Dritte wird von Rekognition für einen Mann gehalten. Insgesamt schnitten alle Gesichtserkennungssoftwares besser ab als Amazons Rekognition.

Diskriminierende Software = inkriminierende Software?

Die Studie des MIT bestätigt damit ein Experiment, das die amerikanische Bürgerrechtsorganisation ACLU im vergangenen Jahr durchführte.

25.000 Fahndungsfotos sollte Rekognition mit den Gesichtern der Mitglieder des US-Kongresses vergleichen. Dabei identifizierte Rekognition 28 Abgeordnete fälschlicherweise als gesuchte Kriminelle. Überdurchschnittlich häufig identifizierte Rekognition schwarze Abgeordnete falsch, weswegen ACLU-Anwalt Jacob Snow damals konkludierte: "Farbige sind ohnehin unverhältnismäßig oft Opfer polizeilicher Praxis, und es ist nicht schwer zu erkennen, dass Rekognition das weiter verschärfen könnte."

Dieses Ergebnis gilt als Auslöser einer zivilgesellschaftlichen Kampagne gegen das blinde Vertrauen in die Gesichtserkennungstechnologie, die mit dem Rückzug Microsofts einen ersten Sieg feiert. Für die Bürgerrechtler ist Amazon der nächste Gegner.

Die KI-Entwicklung steckt in einer Diversitäts-Krise

In einem kürzlich erschienen Bericht weist das AI Now Institut auf den blinden Fleck der KI-Forschung hin. Achtzig Prozent der in diesem Feld tätigen Wissenschaftler seien männlich. Bei Facebook bestehe die Belegschaft der KI-Forschung zu 15%, bei Google nur zu 10% aus Frauen. Nicht-Weiße machten nur einen Bruchteil der Belegschaft in der KI-Entwicklung aus. Das habe große Folgen für die Gesamtgesellschaft.

Nach Ansicht der Forscher würden dadurch Programme entwickelt, die vor allem eine männliche und weiße Perspektive repräsentieren. Das wiederum perpetuiere das Problem der Diskriminierung, statt es zu lösen. "The Coded Gaze", den einprogrammierten Blick, nennt das Joy Buolamwini. Ob bewusst oder unbewusst, computergestütztes Sehen spiegele zwangsläufig den Blickwinkel jener wider, die die Programme schreiben und trainieren, sagte die KI-Forscherin vom MIT kürzlich dem New Yorker. Um dieses Bias zu erforschen und auszumerzen rief sie die Algorithmic Justice League ins Leben.

Ende März taten sich daher erneut führende KI-Forscher von Google, Facebook, Microsoft und einigen Top-Universitäten zusammen und konzentrierten ihre Kritik auf Amazon. 78 namhafte Wissenschaftler, darunter Anima Anandkumar, ehemalige leitende Angestellte - Principal Scientist - von Amazon Web Services, äußerten ihren Unmut über den vorschnellen Verkauf unausgereifter Software an staatliche Behörden und riefen Amazon in einem offenen Brief auf, den Verkauf der KI-gestützten Gesichtserkennungssoftware Rekognition einzustellen. Sie bezogen sich unter anderem auf Buolamwinis MIT-Studie, um vor der Voreingenommenheit dieser Technologie zu warnen.

Matt Wood, Leiter des Bereichs Künstliche Intelligenz bei Amazon Web Services (AWS), verteidigt Rekognition. Bei eigenen Test seien die Ergebnisse der MIT-Studie nicht reproduzierbar gewesen. Außerdem hätten die Forscher nicht die neueste Version von Rekognition verwendet. Die Nutzung von Rekognition sei unbedenklich, die Studie irreführend.

Für Amazon ist der Staat ein guter Kunde

Mit Amazon wartet auf die Bürgerrechtler ein Gegner, der strategisch die Zusammenarbeit mit dem Staat sucht. Nicht umsonst fiel Amazons Entscheidung für den Bau des zweiten Hauptquartiers nach North Virginia, in die direkte Nachbarschaft von CIA, Pentagon und dem Weißen Haus. Statt für das pulsierende Wirtschaftszentrum New York entschied sich Amazon für das Zentrum der Macht.

Denn unter dem Projektnamen JEDI (Joint Enterprise Defense Infrastructure) sucht das US-Verteidigungsministerium seit bald zwei Jahren nach einem Cloud-Anbieter mit KI-gestützter Datenanalyse und höchsten Sicherheitsstandards. Das Auftragsvolumen beträgt 10 Milliarden Dollar und ist damit einer der größten Aufträge für IT-Projekte in der Geschichte der USA. Nach dem Ausscheiden von IBM und Oracle buhlen nur noch Microsoft und Amazon um den Cloud-Deal. Microsofts Rückzug aus dem Gesichtserkennungs-Geschäft bedeutet daher einen Pluspunkt für Amazon im Rennen um das Großprojekt. Angeblich soll auf der Wunschliste des Pentagon eine Gesichtserkennungssoftware mit 300m Reichweite stehen.

Über 2000 Regierungsbehörden nutzen bereits die eigens für Behörden eingerichtete "GovCloud" von Amazon Web Services, der Cloud-Sparte von Amazon. Seit 2013 arbeitet AWS mit dem CIA zusammen. Ohnehin ist AWS der größte Cloud-Anbieter der Welt. Mit einem Marktanteil von 35% ist es größer als die Cloud-Dienste von Microsoft, Google, IBM und Alibaba zusammen. Zu den Kunden von AWS gehören Adobe, Netflix, Reddit, GE, BMW, Bayer und Siemens. Auch die Bundespolizei speichert Bodycam-Aufnahmen auf Servern von Amazon.

Seit 2016 bietet Amazon zusätzlich zur Cloud-Speicherung Rekognition an. Seitdem wächst der Markt für Gesichtserkennungsdienste jährlich um zwanzig Prozent. Prognosen zufolge soll die Branche bis 2022 neun Milliarden Dollar wert sein. Nachfrage kommt vor allem von staatliche Behörden. Sie setzen verstärkt auf KI-Lösungen, um die Kosten einer eigenen Softwareentwicklung einzusparen. So wird Rekognition auch vom FBI zur Auswertung von Überwachungsaufnahmen getestet, nachdem sich das eigene Gesichtserkennungsprogramm als mangelhaft erwiesen hatte.

Auch Jeff Bezos' Firma Blue Origin arbeitet mit dem Pentagon zusammen. Im Herbst letzten Jahres erhielt Blue Origin eine Unterstützung von 500 Millionen Dollar für die Entwicklung der New Glenn-Rakete. Auf der Wired 25 Konferenz kurz darauf sagte Bezos, Amerika werde in Schwierigkeiten geraten, wenn die großen Tech-Unternehmen dem Verteidigungsministerium den Rücken kehren.

Entscheiden sich die Amazon-Aktionäre etwa nicht für Profit?

Neben der öffentlichen Kritik wächst jedoch auch der Widerstand im Unternehmen. Zahlreiche Mitarbeiter und Anteilseigner befürchten eine potentielle Nutzung von Rekognition zur massenhaften Überwachung und sehen die Privatsphäre der Bürger gefährdet. Sie haben daher den Antrag gestellt, bei der Hauptversammlung im Mai darüber abzustimmen, ob der KI-gestützte Gesichtsscanner von Amazon weiterhin an die staatlichen Behörden und vermutlich in Zukunft an das US-Verteidigungsministerium verkauft werden darf oder nicht. Amazons Versuch, die Abstimmung zu unterbinden, lehnte die Börsenaufsicht SEC ab.

Unterdessen könnte San Francisco weltweit die erste Stadt werden, die Gesichtserkennungssysteme verbietet.