Autonome Systeme: "Technisches Roulette" im Wettrüsten

Schon jetzt entscheiden Militärs meist nur aufgrund von computergenerierten Daten, weswegen ein Mensch "in the loop" eher die Risiken von autonomen KI-Systemen verstärkt, die eine Black Box sind

Das Pentagon versucht, um den Anschluss vor allem gegenüber China, aber auch gegenüber Russland nicht zu verlieren, möglichst schnell und umfassend autonome (Kampf)Systeme zu entwickeln. Ziel ist es, damit effizienter angreifen oder verteidigen zu können, weil KI-Systeme schneller viel mehr Daten verarbeiten und entscheiden können. Damit haben autonome Systeme Vorteile in asymmetrischen Konflikten und können mit Gegnern, die auch autonome Systeme einsetzen, mithalten.

Doktrin des Pentagon ist allerdings weiterhin, dass letztlich ein Mensch auch bei autonomen Systemen die letzte Verantwortung haben soll, also ein "human in the loop" sitzt. Daher werden angeblich in erster Linie Mensch-Maschine-Schnittstellen geschaffen, also Mensch-Maschine-Systeme, Cyborg- oder Zentaur-Systeme, in denen Menschen ein Teil (in the loop) sind, aber sie übernehmen nur die Aufgaben, die die Maschinen noch nicht ausführen können und treffen Entscheidungen, wenn die Zeit dafür ausreicht.

Man darf annehmen, dass mit diesem Konzept sowieso die Zukunft militärischer Systeme nicht festgelegt ist und die Behauptung, dass letztlich immer ein Mensch den letzten Drücker bedienen wird, nur dazu dient, Politiker und Öffentlichkeit ruhig zu halten und Kritiker, die autonome "Killerroboter" verbieten wollen, zu besänftigen. Im September 2016 hatte der damalige US-Verteidigungsminister Ash Carter verkündet: "Niemals volle Autonomie für Kampfroboter". Dabei denkt man meist an autonome Drohnen, Schiffe oder Landroboter, die mit Waffen ausgestattet sind. Man könnte freilich Raketen, die sich, einmal abgefeuert, ihr Ziel suchen, auch bereits als autonome, wenn auch nicht sonderlich intelligente Kampfsysteme bezeichnen, was die Diskussion schon auf eine andere Ebene stellen würde.

Allerdings läuft die Entwicklung darauf hinaus, den Menschen durch autonome Systeme zu ersetzen, auch im Fall von letalen Systemen. Das werden die USA im Wettrüsten mit Gegnern ganz sicher machen, weil die technische Überlegenheit über alle Gegner im Zentrum der Militärpolitik steht. Richard Danzig, unter Carter Marineminister, später Sicherheitsberater in Obamas Wahlkampfteam und Mitglied des 2007 gegründeten und von Victoria Nuland geleiteten Center for a New American Security sowie des Defense Policy Board, hat nun einen ganz interessanten Bericht über die zukünftige Entwicklung autonomer Waffensysteme veröffentlicht. Danzig ist während Carters Präsidentschaft bekannt geworden, weil er nach dem Kalten Krieg vor neuen Gefahrenszenarien gewarnt hatte.

So hatte er etwa einen Artikel mit dem Titel "Die nächste Superwaffe: Panik" 1998 geschrieben, der auch heute noch interessant ist, weil er zugleich neue Gefahren thematisiert und selbst mit der Panikwaffe hantiert. Seiner Meinung nach würden die nächsten Kriege mit nicht-explosiven biologischen und computertechnischen Waffen geführt wird, das seien keine Massenvernichtungswaffen, sondern "Massenstörungswaffen" (weapons of mass disruption), also das, was jetzt neben Computerangriffen auch unter Desinformationskampagnen, hybriden Kriegen oder Informationswaffen (weaponizing information) diskutiert wird.

Seine These in seinem Bericht Technology Roulette.Managing Loss of Control as Many Militaries Pursue Technological Superiority greift das alte Thema wieder auf und ist sicher bislang zu wenig im Eifer des Wettrüstens beachtet worden, weil autonome KI-Systeme immer als besser, sicherer und effizienter als Menschen verkauft wurden, was sich im zivilen Bereich erst allmählich mit den zunehmenden Unfällen mit autonomen Fahrzeugen und in der Wissenschaft mit der Erkenntnis verändert, dass KI-Systeme undurchschaubar und damit zu einer Black Box werden.

Danzig sagt, dass auch dann, wenn technische Überlegenheit gewahrt wird, dies nicht bedeutet, dass die USA auch sicherer würden. Waffen werden für oder zur Abwehr von Angriffen gebaut, aber nicht zur Verhinderung von Unfällen. Im Hinblick auf die Kontrolle von KI, autonomen Systemen und Synthetischer Biologie verweist er auf die Erfahrungen mit Unfällen, Pannen, Irrtümern und Risiken bei Atomwaffen, Flugzeugen und digitalen Informationssystemen. Man werde die Kontrolle über die neuen Systeme verlieren, weil die "Einführung von komplexen, undurchschaubaren und interaktiven Techniken Unfälle, emergierende Folgen und Sabotage aufkommen lassen". Als Beispiel weist er auf die durchgängige Unsicherheit digitaler Systeme hin, die in dieser Hinsicht immer teurer werden, wobei es unmöglich sein könnte, dem Kontrollverlust dann zu begegnen, wenn man von einer Technik abhängig geworden ist. Dazu kommt, dass bei militärischen Systemen die Geheimhaltung wichtig ist. Man will die Gegner überraschen und kann sich dabei auch selbst mit unvorhergesehenem Verhalten des Systems überraschen.

Humans now proceed at about one-millionth the speed of machines. Machines are becoming faster. Humans aren’t.

Richard Danzig

Man könne die erwartbaren Risiken weder wirklich vorhersehen, noch gar diese verhindern. Und ein Mensch "in the loop" würde daran auch nichts verändern. Bevor er seine Entscheidung treffen kann, wäre es in einem Konflikt zwischen autonomen Systemen bereits zu spät. Überdies würden menschliche Entscheidungen als Kontrollfaktor überschätzt, da sie häufig neue Fehlerquellen einführen und sie sowieso bereits von Maschinen abhängig sind. So werden auch Entscheidungen von Menschen im militärischen Einsatz bei hochgerüsteten Streitkräften meist nicht mehr vor Ort, sondern durch Informationen getroffen, die etwa auf einem Bildschirm ausgegeben werden.

Krieg vor dem Bildschirm

Überblicken lässt sich ein Konflikt schon lange nicht mehr wie früher von einem lokalen "Feldherrnhügel" aus. Kampfpiloten sehen die gegnerischen Flugzeuge oder ihre Ziele nicht, auch diejenigen nicht, die Raketen oder Artillerie abfeuern oder Drohnen steuern. Daten aller Art, gleich ob sie von Sensoren vor Ort, von Satelliten oder Drohnen kommen, werden von Computern verarbeitet und dem Entscheidungsträger präsentiert. Der kann nicht mehr selbst, sondern nur noch im Rahmen der computergenerierten Daten entscheiden, weswegen man eigentlich gleich das System selbst die Entscheidung treffen lassen könnte.

Allerdings könnten Menschen "in the loop" dem System noch ein von KI-Systemen unerwartetes Verhalten und damit einen Vorteil verleihen, gerade weil damit Vorurteile, Fehler, Irrtümer, Enscheidungsaufschübe mit ins Spiel kommen. Aber die militärischen Vorteile sind bescheiden. Schließlich werden in einem Konflikt auch die KI-Systeme auf unerwartete Züge der gegnerischen autonomen Systeme stoßen, die nicht vorhergesehen waren und gelernt werden konnten. So könnten sich auch maschinelle und menschliche Fehler addieren. Und manche Vorteile etwa in einem Cyberwar existieren nur einmalig in einem Angriff, der dem Gegner ermöglicht, die Sicherheitslücken zu schließen. Satelliten, heutzutage unabdingbar für einen Krieg zwischen Staaten, sind derzeit verwundbar und nicht zu verteidigen. Wer zuerst angreift, erzielt einen Vorteil.

Danzig will nicht Panik verbreiten, sondern fordert dazu auf, schon bei der Entwicklung der KI Vorsicht walten zu lassen und etwa dafür zu sorgen, dass das System jederzeit ausgeschaltet werden kann, wenn es der Kontrolle zu entwischen droht. Überdies müssten Systeme besser vor Pannen und Irrtümern geschützt und daraufhin getestet werden. Im Wettrüsten oder im Falle eines offenen Konflikts wird man darauf aber nicht achten.

Danzig, der ebenso wie das Center for a New American Security den Demokraten zugeneigt ist, rät auch zu diplomatischen Lösungen. Man könne nie davon ausgehen, dass die USA mit einer Technik die Überlegenheit behalten. Das war noch nie in der Geschichte der Fall. Jede Technik wird kopiert oder gestohlen. Also müssten letztlich Abkommen angestrebt werden, um den Einsatz und die Verbreitung von neuen Waffen zu regulieren, zur Verifizierung könnten auch KI-Systeme dienen. Das ist derzeit allerdings kaum mehr denkbar, auch demokratische Präsidenten waren nicht für Rüstungskontrollabkommen bereit, die Welt wird also weiter das "technische Roulette" spielen, Ausgang ungewiss, aber hoch riskant.