reißerischen Titeln verdienen Geld indem sie hypothetische Szenarien verkaufen, denen jegliche reale Basis fehlt.
Das Dilemma fängt schon damit an, das es uns schwer fällt exakt zu definieren, was 'Intelligenz' eigentlich sein soll. Im Allgemeinen, im den Sinne, wie es uns von Tieren unterscheidet. Dann schummeln wir und definieren spezielle, eingeschränkte Formen von 'Intelligenz' und verlieren das zentrale Problem völlig aus den Augen.
Echte, allgemeine Intelligenz besteht nicht darin, in einen ganz speziellen Kontext irgendwelche Aufgaben zu lösen (z.B. Sätze weiterzuführen, ohne deren Bedeutung zu verstehen, oder statistisch Bilder zusammenzusetzen, ohne die Objekte darauf und ihre Interaktion zu erfassen), sondern darin in einen völlig unbekannten Kontext Entitäten zu erdenken, ihre Wechselwirkungen zu erahnen und sich selber Aufgaben zu stellen um all das sinnvoll zu nutzen. (da stecken mehrere Begriffe drin, zu denn aktuelle 'KIs' absolut keinen Bezug haben: Entitäten, Wechselwirkungen, denken, ahnen und vor allen Sinn).
Selbstverständlich gibt es das Phänomen der Emergenz, wenn ein System komplex genug wird, kann es auf abstrakteren Ebenen völlig neue Verhaltenswesen zeigen. aber es kann nie Grenzen seines Systems sprengen. Ein neuronales Netz mag erstaunlich gut Sätze vervollständigen, es wird nie ein Model für die physikalische Realität finden können, denn davon kommt in seinen 'Lebensraum' nichts vor. Daher sind all die Phantasien "Wenn es einfach noch ein bisschen größer machen, einfach noch ein wenig mehr trainieren" nichts als feuchte Träume.
Das erkennt mensch schon an den völlig widersprüchlichen Fragen, die da diskutiert werden, wie: "Können wir eine 'Superintelligenz' kontrollieren?"
Nein Dummerchen, wenn wir sie kontrollieren können, ist es keine Superintelligenz. Die Frage selbst ergibt keinen Sinn.