Physik-Paradox: Wenn KI gleichzeitig brillant und ahnungslos ist
KI revolutioniert die Teilchenphysik am Cern, während sie an simplen Physiktests scheitert. Experten sind sich über ihre Fähigkeiten uneinig. Was steckt hinter diesem seltsamen Widerspruch?
Die KI wird gemäß dem britischen Teilchenphysiker Professor Mark Thomson den Weg für enorme Fortschritte in der Teilchenphysik ebnen. Gleichzeitig stellen Forscher bei der Überprüfung von 75 KI-Modellen fest, dass es ist, als hätten sie den Physikunterricht komplett verpasst.
Zugleich bieten KI-Modelle im Internet die Hilfe bei der Lösung von Physik-Hausaufgaben für Schüler und Studenten an. Es gibt zudem zahlreiche KI-"Physik-Professoren", die bei der Vermittlung physikalischer Phänomene erfolgreich sind. Was stimmt denn nun?
Unvorhersehbare Abenteuer
Darüber, was die Künstliche Intelligenz leisten kann und was sie nicht kann, gibt es kontroverse Diskussionen. Dazu gehört auch die eher skurrile Feststellung des griechischen Reeders Thanassis Martinos. Der 74-Jährige ist seit sechs Jahrzehnten in der Seefahrt tätig und erhielt den "Greek Shipping Leadership Award" beim 15. Capital Link-Greek Shipping Forum.
"Die Künstliche Intelligenz kann die Abenteuer griechischer Reeder nicht vorhersagen", schloss er seine Dankesrede bei der Preisverleihung. Martinos erhielt Applaus für seine Aussage.
Wissenschaftler, insbesondere Physiker, hätten Martinos für einen Faktencheck aufgefordert, zunächst einmal zu definieren, was er mit den Abenteuern seiner Kollegen im Sinn hatte. Tatsächlich scheint es eine Frage der Definition zu sein, was die KI lösen kann und was nicht.
Quantensprung durch KI bei der Forschung am Cern
Wenn das Problem exakt formuliert ist, wie es am Forschungszentrum Cern in der Regel der Fall ist, dann kann die KI ihr Potenzial entfalten. Thomson, der ab 1.1.2026 der nächste Generaldirektor von Cern wird, erklärte Anfang Februar gegenüber der britischen Zeitung Guardian, wie die KI die Teilchenphysik in ähnlicher Weise revolutioniert wie die Biochemie.
Gemäß Thomson gibt es Parallelen zum Chemie-Nobelpreis von 2024, der für mit KI-Modellen erreichte Durchbrüche bei der Vorhersage und Gestaltung der Struktur von Proteinen verliehen wurde.
Am Large Hadron Collider (LHC) würden gemäß Thomson gleichartige Strukturen wie bei den Biochemikern eingesetzt, um wie Hannah Devlin es für den Guardian zusammenfasst, "unglaublich seltene Ereignisse zu erkennen, die den Schlüssel dazu liefern, wie Teilchen in den ersten Augenblicken nach dem Urknall Masse erlangten und ob unser Universum am Rande eines katastrophalen Kollapses stehen könnte".
Das sind keine schrittweisen Verbesserungen. […]
Das sind sehr, sehr, sehr große Verbesserungen, die die Leute durch den Einsatz wirklich fortschrittlicher Techniken erzielen. Das wird unser Fachgebiet ziemlich verändern. […]
Es handelt sich um komplexe Daten, genau wie bei der Proteinfaltung – das ist ein unglaublich komplexes Problem – also wird man sie meistern, wenn man eine unglaublich komplexe Technik wie KI einsetzt.
Mark Thomson
Thomsons Kollegin Katharine Leney, die am Atlas-Experiment des LHC arbeitet, ergänzt:
Wr kommen mit den Daten, die wir gesammelt haben, schon jetzt besser zurecht, als wir es vor zehn Jahren mit 20-mal mehr Daten für möglich gehalten hätten. Wir sind also mindestens 20 Jahre weitergekommen. Ein großer Teil davon ist der KI zu verdanken.
Oxymoron – Physikcrack und gleichzeitig (noch) Versager
Außer der Anwendung in der Teilchenphysik kommt die KI auch bei der Lösung komplexer Gleichungssysteme zum Einsatz. Sie unterstützt Simulationsexperimente aller Art. Analytisch nicht lösbare Probleme, wie die Entwicklung von Galaxien, die Berechnung des Verhaltens von Sternen und Schwarzen Löchern, lassen sich mithilfe der KI effektiver berechnen als vorher.
Mit der KI lassen sich Computersysteme verbessern, die wiederum mit KI komplexere Probleme lösen können. Die KI hilft in Wissenschaftsbereichen wie der Astronomie dabei, Teleskopbilder von Rauscheffekten zu befreien und somit höhere Auflösungen zu erreichen.
Die KI versagt jedoch, wenn ihr ein physischer Physiktest wie bei einer Schul- oder Uni-Prüfung vorgelegt wird. Ein Team von Wissenschaftlern der University of Southern California, dem UC Berkeley und dem Toyota Research Institute testete mit einem PhysBench genannten Benchmark-Test eine Reihe von Vision-Language-KI-Modellen. Ihre Ergebnisse bestätigten zunächst die Ergebnisse früherer Studien, die beweisen, dass stochastische Modelle schon an simplen, buchstäblich kinderleichten Aufgaben scheitern.
Die Modelle waren in der Lage, Bilder und Texte der Testunterlagen zu erfassen und zu beschreiben. Wirklich begreifen, wie die physische Welt funktioniert, konnten sie nicht. "Man kann sie sich wie einen klugen Schüler vorstellen, der beschreiben kann, was er auf einem Foto sieht, aber nicht vorhersagen kann, ob ein Klötzchenturm umfallen wird", vermerken die Autoren. Insgesamt 75 KI-Modelle, darunter GPT-4, versagten, "als ob sie den Physik-Unterricht verpasst hätten".
So versagten sie beim Verständnis des Gewichts eines Objekts und der Kenntnis seiner Materialeigenschaften. Sie konnten nicht vorhersagen, wie die Objekte interagieren. Sie konnten die Bewegung und Dynamik der Objekte nicht berechnen. Die KI-Modelle scheiterten schlicht darin, physikalische Szenen zu begreifen.
Die Autoren kombinierten die KI-Modelle mit spezialisierten Bildverarbeitungsfähigkeiten ihres PhysAgent-Modells und erreichten so mit dem Reasoning eine signifikante Verbesserung der Ergebnisse.
Die Studienautoren empfehlen, dass sich die zukünftige KI-Entwicklung stärker auf die Einbeziehung grundlegender physikalischer Prinzipien in das Modelltraining konzentrieren sollte, um leistungsfähigere und sicherere KI-Systeme für reale Anwendungen zu erhalten.
Die Frage Martinos nach den Abenteuern der griechischen Reeder könnte auch so nicht beantwortet werden. Denn die Reeder entscheiden ihre Investments, wie den Kauf schwimmender LNG-Terminals, oder Verkäufe, wie udie Schiffe für die russische Schattenflotte, aufgrund von tagesaktuellen geopolitischen Entwicklungen.