Die Geister, die wir rufen: Künstliche-Intelligenz-Algorithmen als neue Alchemie

Ist Software bald so schwierig zu verstehen wie ihre Schöpfer?

Erst im Februar berichtete Science von einer Krise der Replikation der KI-Forschung: Bei klaren Algorithmen und deterministischen Computern sollte man erwarten, dass ein Programm bei gleichen Eingaben immer zum selben Ergebnis führt. Dass das häufig nicht der Fall war, erklärten Forscher mit der unvollständigen Veröffentlichung wichtiger Informationen und der Abhängigkeit der Software von Trainingsdaten.

In der Science vom 3. Mai widmet sich jetzt ein Artikel dem Vorwurf, KI funktioniere wie mittelalterliche Alchemie: Man wisse eigentlich nicht, was man tue, sondern drehe hier und da an ein paar Schrauben, bis ein Algorithmus das gewünschte Ergebnis erziele.

Google-Forscher tritt Debatte los

Auslöser für den kritischen Bericht war eine Vorlesung von Googles KI-Forscher Ali Rahimi vom letzten Dezember, in dem der Vergleich mit der Alchemie gemacht wurde und der eine breite Diskussion auslöste. Mit einem Vortrag am 30. April auf der International Conference on Learning Representations in Vancouver, Kanada legte Rahimi nun nach.

Viele Forscher auf diesem Gebiet tappten im Dunkeln und wüssten eigentlich nicht, was sie täten. Nicht nur einzelne Algorithmen funktionierten wie eine "Black Box", bei der man nur Ein- und Ausgabe kennen und nicht verstehe, was im Inneren geschehe. Ganze Teile der KI-Forschergemeinschaft würden inzwischen genauso anmuten.

Der Informatiker François Chollet, ebenfalls von Google, formuliert es so: Man programmiere die Software schlicht so, dass sie die Trefferquote maximiere. Trotz tausender wissenschaftlicher Arbeiten zum Thema basiere das aber im Wesentlichen auf Versuch und Irrtum.

Geistlose Optimierungsstrategien

Rahimi veranschaulichte das in seinem Vortrag mit ein paar Beispielen. Nachdem andere Forscher einige Optimierungsstrategien aus einem der besten bekannten Übersetzungsalgorithmen entfernten, habe dieser auf einmal bessere Übersetzungen vom Englischen ins Deutsche oder Französische geliefert. Auch umgekehrte Fälle werden erwähnt, dass also das Grundgerüst eines Algorithmus eher wertlos sei und das Ergebnis nur durch Optimierungsstrategien brauchbar werde.

So oder so - solche Tricks legen eher nicht den Verdacht nahe, dass in diesem Forschungszweig von Wissen und Verständnis getriebenes Vorgehen die Regel ist. Bei Unternehmen, denen es nur um das (am Ende ökonomisch verwertbare) Ergebnis geht, würde das nicht überraschen. Von wissenschaftlicher Forschung würde man aber mehr erwarten.

Vor allem das Ergebnis zählt

Als möglichen Grund nennt der Informatiker Csaba Szepesvári von DeepMind in London die im Feld übliche Publikationskultur. Bei der Veröffentlichung in Fachzeitschriften würde die Leistung eines Algorithmus belohnt, ob dieser bisherige Höchstwerte übertreffe. Die Erklärung seiner Arbeitsweise durch die Autoren sei demgegenüber nachrangig.

Interessant sind nun die Lösungsvorschläge des Google-Forschers Rahimi oder des Informatikers Ben Recht von der University of California in Berkeley: Beispielsweise solle man untersuchen, was die Entfernung einzelner Teile eines Algorithmus für Auswirkungen auf die Funktionsweise hat; oder man solle ein Programm erst mit einfacheren Beispielaufgaben untersuchen, bevor man es auf komplexere Probleme loslässt, etwa bei der Bilderkennung.

Kommt das jemandem bekannt vor? Tatsächlich versucht man ja seit Längerem, den Menschen beziehungsweise sein Gehirn auf diese Weise zu verstehen. So sind in den Neurowissenschaften etwa Läsionsstudien beliebt, in denen man psychische oder neurologische Funktionsausfälle bei Patienten mit Gehirnschädigung untersucht.

Man denke etwa an Phineas Gage, den wohl bekanntesten Patienten der Neurologie. Oder an die Entdeckungen von Paul Broca und Carl Wernicke, nach denen Hirnregionen benannt wurden. Schon im 19. Jahrhundert wurden solche Fälle also fruchtbar diskutiert. Ethisch umstritten ist, wenn Forscher heute solche Läsionen nach Belieben im Tierversuch erzeugen.