Die Geister, die wir rufen: Künstliche-Intelligenz-Algorithmen als neue Alchemie

Ist Software bald so schwierig zu verstehen wie ihre Schöpfer?

Erst im Februar berichtete Science von einer Krise der Replikation der KI-Forschung: Bei klaren Algorithmen und deterministischen Computern sollte man erwarten, dass ein Programm bei gleichen Eingaben immer zum selben Ergebnis führt. Dass das häufig nicht der Fall war, erklärten Forscher mit der unvollständigen Veröffentlichung wichtiger Informationen und der Abhängigkeit der Software von Trainingsdaten.

In der Science vom 3. Mai widmet sich jetzt ein Artikel dem Vorwurf, KI funktioniere wie mittelalterliche Alchemie: Man wisse eigentlich nicht, was man tue, sondern drehe hier und da an ein paar Schrauben, bis ein Algorithmus das gewünschte Ergebnis erziele.

Google-Forscher tritt Debatte los

Auslöser für den kritischen Bericht war eine Vorlesung von Googles KI-Forscher Ali Rahimi vom letzten Dezember, in dem der Vergleich mit der Alchemie gemacht wurde und der eine breite Diskussion auslöste. Mit einem Vortrag am 30. April auf der International Conference on Learning Representations in Vancouver, Kanada legte Rahimi nun nach.

Viele Forscher auf diesem Gebiet tappten im Dunkeln und wüssten eigentlich nicht, was sie täten. Nicht nur einzelne Algorithmen funktionierten wie eine "Black Box", bei der man nur Ein- und Ausgabe kennen und nicht verstehe, was im Inneren geschehe. Ganze Teile der KI-Forschergemeinschaft würden inzwischen genauso anmuten.

Der Informatiker François Chollet, ebenfalls von Google, formuliert es so: Man programmiere die Software schlicht so, dass sie die Trefferquote maximiere. Trotz tausender wissenschaftlicher Arbeiten zum Thema basiere das aber im Wesentlichen auf Versuch und Irrtum.

Geistlose Optimierungsstrategien

Rahimi veranschaulichte das in seinem Vortrag mit ein paar Beispielen. Nachdem andere Forscher einige Optimierungsstrategien aus einem der besten bekannten Übersetzungsalgorithmen entfernten, habe dieser auf einmal bessere Übersetzungen vom Englischen ins Deutsche oder Französische geliefert. Auch umgekehrte Fälle werden erwähnt, dass also das Grundgerüst eines Algorithmus eher wertlos sei und das Ergebnis nur durch Optimierungsstrategien brauchbar werde.

So oder so - solche Tricks legen eher nicht den Verdacht nahe, dass in diesem Forschungszweig von Wissen und Verständnis getriebenes Vorgehen die Regel ist. Bei Unternehmen, denen es nur um das (am Ende ökonomisch verwertbare) Ergebnis geht, würde das nicht überraschen. Von wissenschaftlicher Forschung würde man aber mehr erwarten.

Vor allem das Ergebnis zählt

Als möglichen Grund nennt der Informatiker Csaba Szepesvári von DeepMind in London die im Feld übliche Publikationskultur. Bei der Veröffentlichung in Fachzeitschriften würde die Leistung eines Algorithmus belohnt, ob dieser bisherige Höchstwerte übertreffe. Die Erklärung seiner Arbeitsweise durch die Autoren sei demgegenüber nachrangig.

Interessant sind nun die Lösungsvorschläge des Google-Forschers Rahimi oder des Informatikers Ben Recht von der University of California in Berkeley: Beispielsweise solle man untersuchen, was die Entfernung einzelner Teile eines Algorithmus für Auswirkungen auf die Funktionsweise hat; oder man solle ein Programm erst mit einfacheren Beispielaufgaben untersuchen, bevor man es auf komplexere Probleme loslässt, etwa bei der Bilderkennung.

Kommt das jemandem bekannt vor? Tatsächlich versucht man ja seit Längerem, den Menschen beziehungsweise sein Gehirn auf diese Weise zu verstehen. So sind in den Neurowissenschaften etwa Läsionsstudien beliebt, in denen man psychische oder neurologische Funktionsausfälle bei Patienten mit Gehirnschädigung untersucht.

Man denke etwa an Phineas Gage, den wohl bekanntesten Patienten der Neurologie. Oder an die Entdeckungen von Paul Broca und Carl Wernicke, nach denen Hirnregionen benannt wurden. Schon im 19. Jahrhundert wurden solche Fälle also fruchtbar diskutiert. Ethisch umstritten ist, wenn Forscher heute solche Läsionen nach Belieben im Tierversuch erzeugen.

Umgang mit der "Black Box"

Und natürlich hat man über Seh-, Hör- und andere Wahrnehmungsvorgänge viel gelernt, indem man in der Psychologie oder den Neurowissenschaften mit einfachen Stimuli geforscht hat. Beliebt waren und sind hierfür etwa geometrische Figuren wie Dreiecke und Kreise, die jedoch in unserer Alltagswelt eher nicht vorkommen.

Die "Black Box" ist zudem charakteristisch für eine der einflussreichsten psychologischen Schulen des 20. Jahrhunderts, nämlich den Behaviorismus. Weil man damals noch nicht so detailliert das arbeitende Gehirn untersuchen konnte wie heute, nahmen Vertreter dieser Schule wie John Watson oder Burrhus Skinner in positivistischer Manier schlicht das, was man untersuchen konnte: das Verhalten.

Wenn man so den Vergleich zwischen der heutigen KI-Forschung und der Wissenschaftsgeschichte von Psychologie und Neurowissenschaften zieht, dann zeichnen sich einige Parallelen ab. Das System, das man untersucht, ist zu komplex, um es direkt und in seiner Gänze zu erforschen. Daher unterteilt man es in Module und greift zu indirekten Forschungsmethoden.

Trend der "Computational Sciences"

Das entbehrt nicht einer gewissen Ironie, wenn man sich vor Augen führt, dass in den heute im Trend liegenden "Computational Sciences", etwa der Computational Biology, Computational Neuroscience oder gar Computational Psychiatry, KI-Algorithmen zum Erklären der untersuchten Phänomene verwendet werden. Wenn man den Alchemie-Vorwurf betrachtet, dann scheinen diese Algorithmen mehr Fragen aufzuwerfen, als sie Antworten geben.

Das bekannteste Beispiel hierfür könnte das Human Brain Project sein. In den Medien erfuhr dessen ambitiöses Ziel viel Aufmerksamkeit, auf einem Supercomputer im Forschungszentrum Jülich ein ganzes menschliches Gehirn zu simulieren. Ziel der Simulation soll ein besseres Verständnis sein - doch ob sich die Simulation, sollte es denn überhaupt gelingen, leichter verstehen lassen wird als das Original, das steht in den Sternen.

Letztlich verlieren vor diesem Hintergrund auch reduktionistische Argumente an Überzeugungskraft: Die Idee, das ganze Universum oder wenigstens den Menschen mit einer grundlegenden Formel zu erklären, rückt in weite Ferne, wenn die Arbeitsweise maßgeblicher Forschungsmethoden selbst nicht mehr verstanden wird.

Praktische Bedeutung der Probleme

Der Alchemie-Vorwurf sollte aber auch mit Blick auf praktische Anwendungen aufhorchen lassen. KI-Systeme werden immer verbreiteter. Ob es um die Abschätzung der Kreditwürdigkeit oder der Gefährlichkeit einer Person geht oder ob demnächst autonome Fahr- und Flugzeuge unsere Verkehrswege bevölkern - bei Irrtümern und Unfällen wird die Fehleranalyse schwierig, wenn Fachleute schließlich einräumen müssen: "Wir machen es schlicht so, weil es gut funktioniert."

Natürlich kann man mit einem pragmatischen Vorgehen sehr weit kommen, vor allem dort, wo es eben um die Praxis geht. Auf Dauer wird man von einer anerkannten Wissenschaft aber auch theoretisches Verständnis erwarten. Es bleibt abzuwarten, wie sich die KI-Forschung dem Alchemie-Vorwurf stellen wird.