KI im Krieg: Wenn Algorithmen über Leben und Tod entscheiden

Autonome Waffensysteme treffen zunehmend eigenständig Entscheidungen. Doch wer haftet, wenn Algorithmen falsche Ziele ins Visier nehmen? Ein Telepolis-Interview.

Der Kongress "Zeitenwende in Bildung und Hochschulen" der Informationsstelle Militarisierung (IMi e.V.) setzt sich mit Folgen der Zeitenwende im Bildungs- und Wissenschaftsbereich auseinander. Im folgenden Interview geht es um autonome Waffensysteme, die erhöhte Gefahr militärischer Eskalation durch ihren Einsatz, staatliche Investitionen und internationale Regulationsbemühungen sowie um die Verflechtung ziviler und militärischer KI-Forschung.

Jens Hälterlein ist Wissenschafts – und Technikforscher. Er kritisiert den Einsatz autonomer Waffensysteme. Und fordert eine stärkere Regulierung, wenn nicht sogar Ächtung.

▶ Sie haben am Kongress "Zeitenwende in Bildung und Hochschulen" der Informationsstelle Militarisierung teilgenommen. Herr Hälterlein, was bewegte Sie zur Teilnahme?

Hälterlein: Die ausgerufene Zeitenwende beschäftigt mich persönlich und wissenschaftlich. Im Frühjahr 2022, kurz nach dem Beginn des Angriffs Russlands auf die Ukraine, habe ich meine Arbeit in einem Forschungsprojekt begonnen, das sich kritisch mit sogenannten autonomen Waffensystemen und den Möglichkeiten, diese zu kontrollieren, beschäftigt. Zuvor hatte ich vor allem zur polizeilichen Nutzung von KI – Gesichtserkennung, Predictive Policing und weiteres – geforscht.

Insofern war es für mich im doppelten Sinn eine Zeitenwende: wissenschaftlich, aber natürlich auch als Adressat dieses gesellschaftspolitischen Programms. Der Kongress war für mich eine Gelegenheit, meine Forschung mit zivilgesellschaftlichen Akteuren zu diskutieren. Außerdem konnte ich mich dort über Aktivitäten innerhalb und außerhalb der Informationsstelle Militarisierung informieren.

KI im Krieg: fehleranfällig und völkerrechtlich bedenklich

▶ Sie referierten dort über ihre Forschung. Worin besteht Ihre Kritik an autonomen Waffensystemen?

Hälterlein: Es gibt zahlreiche wichtige Kritikpunkte. Aus meiner Sicht sind vier besonders relevant. Erstens sind sie – wie jedes KI-basierte System – notorisch fehleranfällig und vorurteilsbehaftet. Nur können Fehler und Vorurteile hier tödliche Folgen haben.

Das System könnte Zivilisten als Kombattanten identifizieren, weil es bestimmte Verhaltensweisen oder äußerliche Merkmale fehlinterpretiert, oder weil es für die Unterscheidung relevante Faktoren übersieht. Zweitens werden diese Technologien zwar häufig mit dem Versprechen angepriesen, sie würden schnellere und präzisere militärische Aktionen zugleich ermöglichen und so nicht nur das Leben der eigenen Soldaten, sondern auch das von Zivilisten schützen.

Der gegenwärtige Einsatz solcher Systeme in den Kriegen in der Ukraine und insbesondere in Gaza zeigt aber, dass der militärische Einsatz von KI keineswegs zu weniger zivilen Opfern führt. Stattdessen führt KI zu einer Beschleunigung des sogenannten "OODA-Loops". OODA, das steht für "Observe, Orient, Decide, Act".

Die Vermeidung von Leid und Tod ergibt sich eben nicht aus den Eigenschaften der entsprechenden Waffensysteme, sondern aus deren Einsatz und setzt voraus, dass dies überhaupt ein übergeordnetes Ziel der menschlichen Bediener ist.

Drittens ist zu erwarten, dass es durch den Einsatz hochkomplexer Systeme zu einer Verantwortungsdiffusion kommt – auch wenn strafrechtlich betrachtet nur ein Mensch verantwortlich sein kann – und Bediener zudem dazu tendieren könnten, dem Output der Systeme nahezu blind zu vertrauen.

Viertens stellt sich die Frage, wie sich deren Einsatz zu den Prinzipien des humanitären Völkerrechts verhält – insbesondere zum Prinzip der notwendigen Unterscheidung von Zivilisten und Kombattanten sowie zum Prinzip der Wahrung von Verhältnismäßigkeit von zivilen Opfern, sofern sich legitime militärische Ziele nicht attackieren lassen, ohne diese in Kauf zu nehmen.

▶ An der Universität Paderborn forschen Sie zur politischen Regulation und gesellschaftlichen Reflexion autonomer Waffensysteme. Wie beurteilen Sie die Situation in Deutschland? Werden autonome Waffensysteme ausreichend reguliert?

Hälterlein: Deutschland entwickelt derzeit mit Frankreich und Spanien das Future Combat Air Systems, das hochgradig autonom agierende Drohnen und ein KI-basiertes Entscheidungsunterstützungssystem beinhalten soll.

Auch in weiteren deutschen Rüstungsprojekten spielen KI und generell maschinelle Autonomie eine wichtige Rolle. Die Regulation beschränkt sich darauf, dass versichert wird, Deutschland werde solche Systeme nur ethisch einsetzen – im Einklang mit "unseren" Werten.

Was mit "Ethik" und "unseren Werten" gemeint ist und wie sich eine entsprechende Verwendung oder technische Gestaltung konkret umsetzen und kontrollieren lässt, ist unklar. Letztlich bleibt der Eindruck, dass "Ethik" zu Legitimationszwecken instrumentalisiert wird. Wenn sie letzten Endes rechtliche Formen der Regulierung ersetzen soll, ist dies definitiv der falsche Weg.

KI-Kriegseinsätze regulieren – womit beginnen?

▶ Welche Möglichkeiten der Regulation autonomer Waffensysteme in Kriegseinsätzen sehen Sie? Wäre nicht eine internationale Ächtung, wie bei Chemie- und Atomwaffen, notwendig?

Hälterlein: Notwendig wäre dies auf jeden Fall. Im Rahmen der UN Rüstungskontrolle gibt es seit über 10 Jahren Bemühungen, verbindliche Regulierungen für letale autonome Waffensysteme (LAWS) zu erwirken – bisher ohne Erfolg.

In erster Linie, da dies nicht im Interesse der Nationen ist, die solche Systeme entwickeln, einsetzen oder es in Zukunft beabsichtigen. Das sind die USA, Großbritannien, Israel, Russland und China. Deutschland hat sich zusammen mit Frankreich für ein Verbot von vollautonomen Waffensystemen bei gleichzeitiger Ermöglichung des Einsatzes von teilautonomen eingesetzt.

Wenn es für ein teilautonomes System bereits genügt, dass ein Mensch dem Output des Systems zustimmen muss, die Entscheidung über Leben und Tod also formal weiterhin durch einen Menschen getroffen wird, halte ich diesen Ansatz für hochproblematisch. Das entspricht keineswegs der Idee einer "Meaningful Human Control", die von der NGO Article 36 entwickelt wurde und sich als ein normativer Maßstab für die Bewertung solcher Systeme etabliert hat.

Die Entscheidung des Menschen muss auf einem ausreichend tiefen Verständnis der von einer Maschine "autonom" vollzogenen Prozesse beruhen. Das setzt die Möglichkeit zur Überprüfung und Bewertung des Outputs ohne übermäßigen Zeitdruck und sonstige einschränkende Faktoren voraus.

Auch die Beschränkung der Verhandlungen auf letale Systeme halte ich für problematisch, da die sogenannte Kill Chain bereits mit der Sammlung und Auswertung von Überwachungsdaten beginnt. Effekte und Fehler KI-basierter Prozesse in diesem Bereich können sich bis in eigentliche Kampfhandlungen durchziehen.

▶ Welche zivilen Forschungspotenziale werden durch eine Militarisierung der "KI"-Forschung, durch ihre militärische Nutzung vergeben?

Hälterlein: Grundsätzlich sollten die monetären und sonstigen Ressourcen, die in militärische KI-Forschung fließen, natürlich besser in zivile fließen. Die Kosten für das Future Combat Air System beispielsweise werden auf mehr 100 Milliarden Euro geschätzt. Allerdings zeigt der Umstand, dass mittlerweile fast alle Big Tech Unternehmen – Google, Amazon, META, Microsoft, inklusive Open AI! – in militärische Forschung involviert sind – und dass sich eine klare Unterscheidung in zivile und militärische Anwendungen von KI nicht mehr aufrechterhalten lässt.

Es sind die gleichen Gesichtserkennungssysteme und Large Language Models, die für beide Zwecke verwendet werden.

Wir sollten also unser Verständnis von und Verhältnis zu KI grundsätzlich überdenken.

Benjamin Roth sprach mit Jens Hälterlein. Jens Hälterlein ist wissenschaftlicher Mitarbeiter am Institut für Medienwissenschaften der Universität Paderborn. Zurzeit ist er am Forschungsprojekt "Meaningful Human Control – Autonome Waffensysteme zwischen Regulation und Reflexion" beteiligt. Zuletzt veröffentliche er Studien zur Analyse von Pandemiepolitik und zur deutschen KI-Strategie "AI – Made in Germany."