Vorsicht Algorithmen!
Wie die Nutzer vor den Ergebnissen und Wirkungen der Algorithmen geschützt werden können
Der These, dass Algorithmen unser Leben stark beeinflussen und noch stärker beeinflussen werden, wird jeder zustimmen. Und dass dabei die Rechte der Nutzer von Algorithmen stärker zu schützen sind, ist auch Konsens.
Um dies zu erreichen, wird unter #algorules eine Berufs-Ethik für Programmierer vorgeschlagen, über die man bis zum 21. Dezember abstimmen und Kommentare geben kann.
Ethik für Programmierer gibt es schon lange, z.B. seit 34 Jahren "Das Forum InformatikerInnen für Frieden und gesellschaftliche Verantwortung (FIfF)", die Autoren der aktuellen Umfrage vom Think Tank iRights.Lab tragen aber keine Norwegerpullover.
Unter der Ägide der Bertelsmann-Stiftung wurden unter Algorithmenethik.de mehrere interessante Beiträge zum Thema zusammengetragen, dabei wurden auch drei amerikanische ethische Regelsysteme für Programmierer ausgewertet.
Umso mehr verwundert es, dass die Berufs-Ethik-Kriterien in der Online-Befragung etwas dünn ausgefallen sind, man kann nur hoffen, dass stark nachgebessert wird.
Ein Hauptproblem ist, dass die Autoren einem Berufsbild eines allmächtigen Programmierers folgen, das noch aus den 70er-Jahren stammt, dieses Bild galt vielleicht zu Zeiten von Joseph Weizenbaums "Die Macht der Computer und die Ohnmacht der Vernunft". Inzwischen ist der Beruf des Programmierers in einer Vielzahl von Professionen aufgegangen, die Tätigkeit des Programmierens ist industrialisiert, sprich stark arbeitsteilig, geworden.
Schlimmer noch: Große Teile des Codes werden von Werkstudenten, Freelancern oder Offshore-Programmierern irgendwo in der Dritten Welt erzeugt, die mit dem späteren Einsatz der Verfahren gar nichts zu tun haben.
Wie die Berufs-Ethik der Ärzte die Patienten schützen soll, sollen die vorgeschlagenen Kriterien die Nutzer vor den Ergebnissen und Wirkungen der Algorithmen schützen.
Bei der Beurteilung der Kriterien wird immer wieder auf folgende Einsatzbeispiele zurückgegriffen:
- Börsenhandels-Algorithmen
Handeln in Sekundenbruchteilen mit großen Aktienmengen. Aufgrund des hohen Tempos ist eine Überwachung durch Menschen in Echtzeit nicht möglich. - Autonomes Fahren
Algorithmen steuern Fahrzeuge durch den Verkehr. - Scoring-Algorithmen/Online-Shop Algorithmen
Nutzer werden in ihrer Bonität bewertet, um ihnen z.B. einen Kredit zu gewähren oder ihnen einen persönlichen Preis (den höchsten, den sie nach Ansicht des Algorithmus zahlen würden) anzubieten.
Bei einer Online-Befragung könnten natürlich nicht allzu komplexe Sachverhalte abgefragt werden. Aber dies gilt auch für eine Berufs-Ethik, die Teile sollten kompakt formuliert und schnell verständlich sein. Man sollte sie ohne weitere Informationen oder Hilfsmittel verstehen und interpretieren können. Das werden wir nun tun.
Dem ersten Kriterium wird niemand widersprechen:
1. Kompetenz aufbauen
Die Funktionsweisen und Wirkungen von Algorithmen müssen verstanden werden.
Diejenigen, die algorithmische Systeme entwickeln und einsetzen, müssen über ein Grundverständnis der Funktionsweise und potenzielle Auswirkungen der Technologie verfügen. Die Weitergabe von individuellem und institutionellem Wissen, aber auch der interdisziplinäre Austausch innerhalb von Organisationen sind dafür maßgeblich.
Das Kriterium ist viel zu abstrakt, um jemandem wehzutun: Jeder der einen Algorithmus schreibt und dabei (nach seinen Maßstäben) erfolgreich ist, wird auch der Meinung sein, dafür kompetent zu sein. Schwierig wird es beim 2. Kriterium Verantwortung, hier kennen die Philosophen viele Arten der Verantwortung, für eine Beruf-Ethik würde man so etwas wie eine moralische Verantwortung erwarten.
2. Verantwortung zuweisen
Für die Wirkungen eines algorithmischen Systems muss eine natürliche Person verantwortlich sein.
Dafür ist es notwendig, dass der entsprechenden Person ihre Verantwortung und die damit verbunden Aufgaben bewusst sind. Die ihr zugewiesene Verantwortung ist zu dokumentieren und die entsprechende Person muss von außen erkennbar sein. Sie muss stets in der Lage sein, Prozesse umzukehren und Entscheidungen neu zu treffen. Weder kann eine Maschine diese Verantwortung übernehmen, noch darf die Haftung auf die Nutzer*innen abgewälzt werden. Liegt eine geteilte Verantwortung etwa durch mehrere Personen oder Organisationen vor, gelten analog die üblichen rechtlichen Regelungen der Zuschreibung von Verantwortung.
Die Autoren verlangen aber anscheinend volle, juristische Verantwortung. Und zwar nicht nur für die Ergebnisse des algorithmischen Systems, sondern auch für die Wirkungen, also die Folgen. Kaum jemand kann alle Folgen seines Handelns vollständig erfassen. Die verantwortliche Person soll aber nicht nur allwissend, sondern auch allmächtig sein: Selbst Bill Gates in seiner besten Zeit konnte keine Prozesse umkehren und Entscheidungen neu treffen.
Die juristische Verantwortung hat in Deutschland auf absehbare Zeit derjenige, der ein System in Verkehr bringt, der Betreiber. Das ist bei Börsen-Algorithmen der Börsenhändler, bei Autonomen Fahrzeugen der Nutzer, beim Online-Shop der Online-Händler. Auch wenn es den Autoren nicht passt: Rammt heutzutage die Einparkhilfe das Auto nebenan, ist der Fahrer verantwortlich, er hat die Einparkhilfe aktiviert.
Will man aber statt dem Betreiber den Algorithmen-Macher verantwortlich machen, ist das unangemessen, denn nur der Betreiber hat die letzte Kontrolle über die Parameter des Algorithmus: Hat der Börsenhändler das Handeln seines Algorithmus zu riskant eingestellt und erleidet Verluste, kann er nicht den Hersteller des Algorithmus verantwortlich machen, es sei denn, das Programm hat einen groben Fehler.
Hat ein Kunde im Online-Shop etwas über sein iPhone bestellt und einen höheren Preis gegenüber einer Bestellung über einen Billig-PC bezahlt, kann er weder den Hersteller des Scoring-Algorithmus noch den Betreiber verklagen. Das wäre absurd, denn der Kunde wusste dies und hätte auf andere Art bestellen können.
Das Kriterium "Verantwortung" muss entsprechend dem arbeitsteiligen IT-Prozess und dem Cui-bono-Prinzip genauer formuliert werden.
3. Ziele und erwartete Wirkung nachvollziehbar machen
Die Ziele und die erwartete Wirkung eines Algorithmus müssen nachvollziehbar gemacht werden.
Die Ziele müssen klar definiert und Informationen zum Einsatz des algorithmischen Systems dokumentiert werden. Dazu zählen etwa die zugrunde liegenden Daten und Berechnungsmodelle. Vor und während des Einsatzes des algorithmischen Systems muss eine dokumentierte Folgenabschätzung durchgeführt werden. Hierbei sind Risiken für Diskriminierungen und weitere das Individuum und das Gemeinwohl berührende Folgen im Blick zu behalten. Werteabwägungen bei der Zielsetzung und dem Einsatz von Algorithmen müssen festgehalten werden.
Ziele und erwartete Wirkung genau zu definieren ist wichtig. Es ist aber nachgewiesen unmöglich rein technisch, also mit Tests und anderen Algorithmen, nachzuweisen, dass ein Algorithmus diese Ziele auch erreicht und einhält. Das können nur Menschen (auch in Verbindung mit formalen Methoden, siehe Verisoft-Projekt), aber dies ist aufwendig und dafür ist in der Regel weder Zeit noch Geld da.
Da man also keine Ergebnisse und schon gar nicht die wirklichen Wirkungen garantieren kann, werden die Abweichungen dokumentiert werden müssen. Was passiert nun mit den ganzen dokumentierten Abweichungen und den Listen mit Werteabwägungen? Wird das Projekt ab einer gewissen Anzahl von Abweichungen oder schlechten Werten automatisch gestoppt? Wohl kaum, das macht man fast nie.
4. Sicherheit gewährleisten
Der Einsatz von algorithmischen Systemen muss sicher sein.
Bevor Algorithmen eingesetzt werden, sind sie in einer geschützten Umgebung zu testen. Es sind sowohl die technische Sicherheit gegenüber externen Angriffen und Manipulationen als auch die Sicherheit der Nutzer zu gewährleisten.
Mit Testen allein kann man weder das Funktionieren noch die Sicherheit eines Systems nachweisen. Aber warum in aller Welt sollen sie nur in einer geschützten Umgebung getestet werden? Damit nichts kaputtgeht? Die Tests der Dieselmotoren lassen grüßen.
Ein System sollte so sicher wie möglich sein, aber ein "vollkommen sicheres" System zu verlangen, ist ambitioniert. Dann muss man auch festlegen was passiert, wenn es Sicherheitsprobleme gibt. Zur Erinnerung: Fast alle Sicherheitsvorfälle im Alltag sind Trivialitäten wie abgelaufene Zertifikate. Hat ein Algorithmus bei Sicherheitsproblemen den Betrieb einzustellen? Dies ist bei Börsenhandels-Algorithmen und Scoring/Online-Shop Algorithmen möglich aber teuer. Beim Autonomen Fahren müsste dazu erst ein sicherer Zustand erreicht werden. In allen Fällen wäre aufgrund dieser Forderung die Verfügbarkeit der Systeme nicht mehr verlässlich gewährleistet.
5. Transparenz erhöhen
Der Einsatz eines algorithmischen Systems muss gekennzeichnet sein.
Dazu zählt, dass Algorithmen und selbstlernende Systeme mit direkten oder mittelbaren Wirkungen und ihrer Funktionsweise für Menschen intuitiv verständlich gemacht werden. Die zugrundeliegenden Daten müssen klassifiziert und beschrieben sowie die möglichen Auswirkungen in leicht verständlicher Sprache dargestellt werden. Personen, die von der Wirkung eines Algorithmus betroffen sind, können eine qualifizierte und detaillierte Auskunft zu diesen Parametern einfordern. Wenn eine Maschine einen Menschen in Sprache sowie in Art und Weise der Interaktion imitiert, gilt dies in ganz besonderem Maße.
Zur Offenlegung von Algorithmen fehlt zurzeit die gesetzliche Grundlage, diese Verfahren werden in der Regel zum Geschäftsgeheimnis erklärt. Bei der SCHUFA hat dies der Bundesgerichtshof bestätigt. Aber auch wenn die Funktionsweise der Algorithmen bekannt ist, werden diese Verfahren in der Wirtschaft offen zum Schaden Anderer benutzt. So ist allgemein bekannt, dass in Online-Shops von jedem Kunden ein wirtschaftlicher Score berechnet wird, um ihm den höchstmöglichen Preis abzunehmen. Trotzdem benutzen nur wenige Kunden die möglichen Gegenmaßnahmen.
Der Kunde sollte aber verlässlich informiert werden, dass ein Algorithmus eingesetzt wird. Auch Nida-Rümelin verlangt in seinem "Digitalen Humanismus" die Kennzeichnung von Entscheidungen, an denen kein Mensch beteiligt war.
6. Beherrschbarkeit sichern
Der Einsatz von algorithmischen Systemen muss beherrschbar sein.
Dies setzt voraus, dass Menschen in der Lage sind, über den Algorithmus und seinen Einsatz zu entscheiden und ihn nach ethischen Maßstäben zu bewerten. Eine stetige Kontrolle des algorithmischen Systems durch den Menschen ist notwendig, um die Beherrschbarkeit sicherzustellen. Dies gilt insbesondere auch für selbstlernende Systeme. Ist es nicht möglich, eine Anwendung für den Menschen beherrschbar zu machen, ist von einem Einsatz abzusehen.
Eine stetige Kontrolle durch Menschen bei selbstlernenden Systemen bedeutet, dass die Systeme nach jeder Veränderung, also jedem Lernen, neu kontrolliert werden müssen. Das schließt selbstlernende Systeme als Technologie eigentlich prinzipiell aus. Autonomes Fahren wäre dann nur mit einer regelbasierten KI möglich.
Unser anderes Beispiel, die Börsenhandels-Algorithmen, handeln so schnell, dass sie nicht direkt kontrollierbar sind. Man kann nur Rahmenbedingungen setzen und das Verhalten im Nachherein beurteilen. Solche Systeme wären also als nicht beherrschbar nicht zulässig.
7. Wirkung überprüfen (lassen)
Die Auswirkungen eines algorithmischen Systems auf den Menschen müssen regelmäßig überprüft werden.
Dazu gehört die aktive Kontrolle, ob ein Algorithmus gesellschaftliche Grundwerte wie Wertepluralismus, Solidarität, Vielfalt und Teilhabe verletzt. Externe Akteur*innen sollten ebenfalls in die Lage versetzt werden, dies zu überprüfen. Wird eine negative Wirkung festgestellt, müssen die Fehlerursache ermittelt und der Algorithmus entsprechend angepasst werden. Kann der Fehler nicht behoben werden, muss der Einsatz des algorithmischen Systems beendet werden.
Ob ein Algorithmus seine definierten Ziele erreicht, lässt sich rein technisch, also durch andere Algorithmen oder Tests, nicht nachweisen, geschweige denn die Auswirkungen, die diese Ziele auslösen. Ein Algorithmen-TÜV durch Menschen könnte nur stichprobenartig die Zielerreichung prüfen, aber kaum die Auswirkungen. In einem Wirtschaftssystem sind die negativen Wirkungen des Einen manchmal positive Wirkungen für den Anderen. Eine negative Wirkung ist daher nicht automatisch ein Fehler. Es muss ein Gremium geben, das festlegt, welche Wirkungen beseitigt werden sollen. In unserer Gesellschaft werden sogar Projekte durchgeführt, die überwiegend negative Auswirkungen haben, z.B. der Braunkohletagebau.
8. Korrigierbarkeit herstellen
Entscheidungen eines Algorithmus dürfen nie unumkehrbar sein.
Wenn die Wirkungen eines Algorithmus dazu führen, dass gesellschaftliche Grundwerte oder die Rechte eines Einzelnen verletzt werden, muss den Betroffenen eine einfache Beschwerdemöglichkeit offenstehen. Die Beschwerde richtet sich an die verantwortliche Person. Diese verpflichtet sich, qualifiziert auf die Beschwerde zu reagieren und Auskunft zu erteilen. Beschwerden und eingeleitete Maßnahmen sind zu dokumentieren. Bei fehlender oder mangelhafter Auskunft oder allgemein vermuteter rechtswidriger Vorgehensweise können Schlichtungsstellen eingerichtet und eingesetzt werden.
Kommentar zur Überschrift:
Die Idee der Umkehrbarkeit taucht auch in der EU-Richtlinie über Roboter auf, obwohl sie selten Sinn macht: Verletzt ein Roboter mit seinem Arm einen Menschen, sollte er dieselbe Bewegung nicht noch einmal rückwärts machen, sondern in einen Sicherheitszustand gehen. Das gleiche gilt für Autonome Fahrzeuge. Beim Online-Shop/Scoring ist eine vollständige Rückabwicklung natürlich sinnvoll. Beim automatischen Börsenhandel ist aber im Zweifelsfall das Geld weg und keine Rückerstattung möglich.
Kommentar zum Text:
Auskunftspflicht und Beschwerdemöglichkeit sind keine Umkehrbarkeit. Eine umfassende Auskunftspflicht wird schon im 5. Kriterium gefordert. Mit der Einrichtung von Schlichtungsstellen wird die im 2. Kriterium geforderte juristische Verantwortung wieder relativiert.
Damit sind wir schon bei der zusammenfassenden Betrachtung der Kriterien. Selbst den Autoren scheint nicht ganz klar zu sein, was diese Kriterien sein sollen:
Eine Berufs-Ethik für Programmierer,
ein weiteres Pflichtenheft zur Qualitätssicherung oder
ein Verbraucherschutzkonzept mit Strafandrohung?
Dieser Eindruck wird durch die nächste Frage in der Online-Umfrage bestätigt:
Welche Sanktionen bei Nichteinhaltung der Kriterien wären denkbar?
Natürlich werden Sanktionen nie allein wegen der Kriterien einer Berufs-Ethik, sondern wegen verletzter Rechte, Vorschriften und verursachter Schäden verhängt werden. Daher sollte zu jedem Kriterium eine Liste der relevanten Vorschriften gehören.
Die vorgeschlagen Kriterien beschreiben keine mögliche Berufs-Ethik, denn dem Programmierer erwachsen aus diesen Kriterien keine Rechte. Arzt und Journalist haben aufgrund ihrer Berufs-Ethik das Recht zu schweigen, der Arzt darf Maßnahmen aufgrund ethischer Vorbehalte ablehnen, ohne dass ihm Schaden entsteht. Bei Programmierern wären das Recht auf straffreies Whistleblowing und das Recht auf Ablehnung von unethischen Projekten, ohne dass ihm Schaden entsteht, sinnvolle Rechte, die ein ethisches Handeln ermöglichen. Leider gibt es keinerlei Hinweis auf die Rechte des Programmierers.
In Deutschland gibt es seit Jahrzehnten einen mehr oder weniger gut funktionierenden Datenschutz (auch wenn einige das erst seit einem halben Jahr bemerkt haben), das Wort "Datenschutz" kommt in den Kriterien leider nicht vor.
Aber gerade an der Geschichte des Datenschutzes können die Autoren sehen, dass ihre Kriterien kaum durchsetzungsfähig sind. Der Aufwand beim Datenschutz ist eigentlich gering: Es muss "nur" informiert, Einverständnisse eingeholt und mit den Daten sparsam umgegangen werden. Trotzdem wurde der Datenschutz jahrzehntelang zwar formal akzeptiert, aber oft nicht wirklich umgesetzt. Die Forderungen dieser Kriterien gehen aber sehr viel weiter: Es müssen unkalkulierbare Risiken übernommen, mit hohem Aufwand ständig kontrolliert und bei Fehlern komplette Verfahren stillgelegt werden. Damit sind diese Kriterien nicht durchsetzbar. Und wenn doch, das Projekt wird ja schließlich von vielen befürwortet, endet es als wirkungsloser Papiertiger, den viele kennen, aber niemand umsetzt.