Erschließt sich nicht, dass das Erreichen einer "Superintelligenz" für den Bestand der Menschheit notwendig seil sollte. Im Gegenteil, so eine "Superintelligenz" würde mit der Menschheit um Ressourcen konkurrieren. Da die Menscheit seit mindestens 70 Jahren das Potential hat, sich "auszulöschen", wird das auch in Zukunft immer eine Option sein, ob nun mit oder ohne "Superintelligenz".
Ein technologischer Rückfall ist auch ein gängiges Zukunfts-Szenario, das per se erstmal völlig blödsinnig ist, denn ohne den technischen Fortschritt wäre "die Menschheit" in heutiger Zahl gar nicht überlebensfähig. Als Folge von Sszenario 1 ist das danndenkbar, aber dann eben kein eigenständiges Szenario. Dass die Menschheit nach dem Zusammenbruch des römischen Imperiums irgendwie glücklicher gewesen ist, würde ich mal bezweifeln. Die Geschichte ist voll von Bemühungen, ein ähnliches Kaiserreich neu zu errichten.
Überwachungsstaaten haben wir in West und Ost schon lange, Natürlich immer mit den besten Absichten. So auch heute die Bemühungen zur Regulierung von KI. Wo der primäre Ansatz ist, dass diese neue Technologie zum Nutzen der Menschen eingesetzt werden soll und - da sie durch Menschen kontrolliert und instrumentalisiert wird - dass eben dem Einsatz zum Zwecke der Überwachung und Kontolle Grenzen gesetzt werden. Was mehr oder minder gut funktioniert, je nachdem wen man fragt. Dennoch erscheint die Idee, ein Überwachungsstaat würde eine "Superintelligenz" zu verhindern suchen, eher absurd. Er würde wohl eher versuchen, sie unter seine Kontrolle zu bekommen.
Also schon mal 3 Szenarien, die in Zusammenhang mit KI neben der Spur liegen. KI ist schlicht ein leistungsfähiges Werkzeug. Die Gefahr dieser Technologie besteht nicht darin, ob ene "Superintelligenz" entwickelt wird oder nicht, sondern in der Nützlichkeit dieser Technologie wie sie bereits heute verfügbar ist bzw. in wenigen Jahren sein wird, wo quasi jeder so einen kleinen, nützlichen Begleiter auf dem Handy mit sich herumträgt. Der einerseits dazu verleitet, sich dem betreuten Denken hinzugeben (also noch mehr als durch Massen- oder soziale Medien) und andererseits darin, dass das der Bürokratie erlaubt, noch weiter auszuufern als die bislang mögliche "Digitalisierung", die bereits gerne über das Ziel hinausgeht.
Bei "Superintelligenz" sollte gemeinhin eh der "Esoterik"-Alarm anschlagen. Deus ex machina, da wird's schon irgendwie religiös.