Autonomes Fahrzeug fordert erstes Menschenopfer

Roboterethik: Nehmen wir auch Opfer in Kauf, die es ohne autonomes Fahren nicht geben würde?

Es ist also passiert. Wie von allen erwartet, gab es das erste Todesopfer des autonomen Fahrens, das selber nicht am autonomen Fahren beteiligt war. Aus europäischer Sicht ist allerdings verwunderlich, dass in den USA erst jetzt eine Diskussion über die Verantwortung einsetzt. Dies liegt an den verschiedenen Kulturen der Haftung im angelsächsischen Raum und in Mitteleuropa:

Vereinfacht: In Europa müssen Neuerungen erst genehmigt werden, in den USA reicht es, wenn nur irgendwie die Haftung geregelt ist. Das Verfahren in den USA fördert natürlich enorm die Innovationen, erzeugt bei uns Europäern aber leichte Gruselgefühle. Etwa bei der Frage, was eine Klage noch nützt, wenn z.B. durch Gentechnik unsere biologische Lebensgrundlage irreparabel geschädigt wird.

Aber auch wir überlassen der Industrie die Beantwortung von Fragen, die eigentlich in der Gesellschaft diskutiert und beantwortet werden sollten:

Erste Frage: Nehmen wir auch Opfer in Kauf, die es ohne autonomes Fahren nicht geben würde?

Menschen machen Fehler. Maschinen machen Fehler. Maschinen, wie Roboter, die Funktionen von Menschen übernehmen, machen teilweise dieselben Fehler wie die Menschen. Wir unterscheiden logisch folgende Arten von Fehlern:

• Reine Menschen-Fehler, die nur Menschen machen und Maschinen nicht: Z.B. betrunken Auto fahren.
• Fehler, die sowohl Menschen als auch Maschinen unterlaufen können: Z.B. eine Situation falsch einschätzen. Der Unfall in Tempe gehört wohl dazu.
• Reine Maschinen-Fehler, die nur Maschinen machen und Menschen nicht: Z.B. wenn durch einen elektromagnetischen Puls (EMP), etwa ausgelöst durch einen großen Funken, die Elektronik versagt.

Die dritte Art, die reinen Maschinenfehler, wurden bisher kaum beachtet und kleingeredet. So taucht diese Art von Fehlern in der Argumentation des Verbands der Automobilindustrie beim Deutschen Ethikrat zum autonomen Fahren gar nicht auf.1 Dabei sind die drei unten beschriebenen Arten von reinen Maschinenfehlern nie vollständig zu vermeiden. Wir unterscheiden Versagen durch:

1. Technisches Versagen: Durch Ausfall von Bauteilen oder durch äußere Einflüsse wie Blitze, Wasser, EMP. Die Wahrscheinlichkeit solcher Fehler lässt sich durch Abschirmungen und Doppeln von Bauteilen mindern, aber nie ganz ausschließen.
2. Softwarefehler: Die Korrektheit von Programmen lässt sich nur bei Programmen geringer Komplexität beweisen, bei Programmen größerer Komplexität nicht. Durch Prüfprogramme gleicher Komplexität und durch ausgiebiges Testen kann man prinzipiell nicht die Korrektheit von Programmen nachweisen.
3. IT-Angriffe: Geräte der Informationstechnik sind ständigen Angriffen ausgesetzt, ihre Sicherheit muss ständig nachgebessert werden. Sobald ein Gerät irgendwie erreichbar ist, gibt es keinen absoluten Schutz gegen Hackerangriffe. Aus diesen drei Gründen ist eine vollständige Vermeidung von reinen Maschinenfehlern eine Illusion. Beim Einsatz von autonomen Maschinen und Robotern müssen also alle drei Arten von reinen Maschinenfehlern gründlich diskutiert werden.

Erschwerend kommt hinzu, dass man diese reinen Maschinenfehler kaum statistisch erfassen kann, denn sie sind, im Gegensatz zu Vorfällen im menschlichen Individualverkehr, nicht statistisch unabhängig. Ein EMP auf einer Kreuzung wird alle anwesenden Fahrzeuge gefährden, eine falsche Software ist in Hunderttausenden von Fahrzeugen und Hackerangriffe erfassen ganze Netze. Wenn also ein Fehler dieser Art passiert, dann wird es große Folgen haben.

Zweite Frage: Was wollen wir im autonomen Fahrzeug? Eine KI, die nachahmt, oder eine KI, die sich an Regeln hält?

Die modernen autonomen Fahrzeuge sind nur durch die Fortschritte der Künstlichen Intelligenz (KI) möglich. Maschinelles Lernen, wie Deep Learning, hat einen geringen Entwicklungsaufwand, da kein explizites Programm geschrieben wird, sondern das System "nur trainiert" wird.2

Neben der Beschaffung von geeigneten Trainingsdaten sind die Hauptprobleme des Deep Learning :

• Blackbox: 3: Es gibt keine Kontrollmöglichkeit über das, was das System wirklich gelernt hat.
• Lernmenge begrenzt: Bei Aufnahme neuer Daten können alte Erkenntnisse verloren gehen. Damit sind technische Abnahmen von Deep Learning Systemen eigentlich nicht möglich.

Wird ein autonomes Fahrzeug durch Deep Learning trainiert, kann es also sein, dass es etwas Falsches lernt. Es lernt z.B. wegen kleiner Jungs in Matrosenanzügen nicht zu bremsen. So etwas ist durchaus plausibel, wenn z.B. während des Trainings überall Plakatwände mit Jungs in Matrosenanzügen vorhanden waren. Beim ersten Todesopfer des Autonomen Fahrens wurde ein LKW mit einer Plakatwand verwechselt.

Um einen solchen Fehler zu bemerken, müssen erst einige Unfälle mit kleinen Jungs in Matrosenanzügen passieren. Wird dann ein Datensatz zur Vermeidung solcher Unfälle eintrainiert, wird damit die Gesamtmenge des Gelernten erhöht. Da aber die Gesamtmenge des Gelernten begrenzt ist, kann durch diese zusätzliche Lektion etwas Nützliches vergessen werden. Hoffentlich bremst dann das System weiter auch für kleine Mädchen mit roter Schleife.

Ein regelbasiertes autonomes Fahrzeug, das Menschenleben schützen will, würde z.B. in beidseitig zugeparkten Wohnstraßen nur sehr langsam fahren, denn es könnte immer jemand zwischen den Fahrzeugen auftauchen. Das ist vielen Fahrern viel zu langsam, gibt es doch anscheinend den gesellschaftlichen Konsens, dass ein Autofahrer für Unfälle mit "aus dem Nichts" auftauchenden Fußgängern nicht verantwortlich ist.

Das Fahrzeug von Uber fuhr beim Unfall in Tempe schneller als erlaubt. Auch Google lässt seine Fahrzeuge in bestimmten Situationen mit einer überhöhten Geschwindigkeit fahren, um sich dem Verkehrsfluss anzupassen.4 Damit fällt auch der Konzern Google eine Entscheidung gegen die gesetzlichen Bestimmungen und nimmt im Falles eines Unfalls größere Schäden in Kauf. Der heiligen Kuh "Verkehrsfluss" werden also (Menschen)Opfer gebracht. Es wäre einfach, von den autonomen Fahrzeugen zumindest die Einhaltung der Verkehrsregeln zu verlangen.

Es wäre möglich, autonome Fahrzeugen zu bauen, die wesentlich sicherer sind als von Menschen gesteuerte. Diese würden aber sehr vorsichtig fahren und den Verkehr behindern. Wollen wir das?