Finde schon gute Gedankenwege bei Dir.
Bist aber ein Haar zu früh abgebogen.
Intelligenz und Gedanken entwickeln sich und arbeiten nur im Kontext mit dem "Außen", mit der Realität, dem objektiv (unabhängig vom inneren, gedankliche Sein) Gegebenen. Das dürfte die Grundprämisse der Entwicklung bei "biologischer" Datenverarbeitung sein, die ja primär eine Reaktion auf Signale der Umgebung ist.
Damit hast Du das Problem der Sensorik, die als Schnittstelle der Vermittlung zwischen Sein und Bewusstsein geschaltet ist. Die Art der Sensorik gibt dann nicht nur den Informationsinput, sondern auch den Gefühls(bewertungs)-Input für die entsprechende Information (gut - schlecht als abstrahiertes Wertepaar für z.B. nahrhaft - wertlos, tut weh - fühlt sich gut an, schmeckt - eklig...), der als negativ oder positiv bewertet wird - immer gemessen an der Nützlichkeit für den Organismus! Gefühle sind also Teil der evolutionär herausgebildeten Regelkreise für das Verhalten. Genauso ist es auch das System der Antriebe (Motivationen), die einen Organismus zu Handlungen bringen, das ist ebenfalls Teil der Regelkreise für Verhalten. Da sind elementare, auf Gefühlen beruhende Antriebe (hungrig => Nahrung suchen, Schmerz => wegbewegen...) genauso enthalten wie höhere, abstrakte Motivationen (nächstes Jahr läuft Arbeitsvertrag aus => entwirf Strategie für neuen...).
Diesen evolutionär herausgebildeten Schutz- und Bewertungsmechanismus kann man auch in der Software nachbilden. In jeder Hinsicht, die Bewertungsmatrix und die Motivationsmatrix dürften allerdings entsprechend der Komplexität des Organismus analog komplex sein, und können auch in der Funktionalität ähnlich "krank" oder gestört sein wie beim Menschen.
Damit ist für mich klar: KI können Gefühle haben.
Problem: die Gefühls- und Motivationsmatrix der KI kann jetzt (je nach Intention des Programmierers bzw. des Befehlshabers des Programmierers - dem Eigentümer...) beliebig manipuliert werden, so beliebig, wie das mit einem menschlichen Hirn wohl niemals möglich wäre. Vor allem kann sie sehr einfach kopiert werden. (Und man kann ihr sehr gut live beim Arbeiten zuschauen).
Das ist die riesige Gefahr. Es erlaubt, beliebig verbrecherische KI zu bauen, ohne jede emotionale oder evolutionär eingebaute Hemmung wie Überlebenstrieb oder Beißhemmung zum Erhalt der Art. Ohne jede ethische Überformung oder Regel.
Das haben die großen KI-Denker unserer Zeit schon erkannt, das ist es, wovor sie warnen. Das ist womöglich auch die letzte aktuelle Prophezeiung von Hawkins, dass die Menschheit noch 100 Jahre vor sich hat (der absolute Grusel für mich persönlich).
Das Problem ist damit erkannt: es ist nicht eine irre KI: es sind irre Befehlsgeber = Eigentümer.
Und auch: das muss nicht einmal vorsätzlich passieren, paar Programmierfehler reichen auch.
Was meinst Du mit "wir wollen uns besser entwickeln, alte Hürden weg lassen können"?
Welche Grenzen sollen denn überwunden werden? Hirnkapazität? Geschwindigkeit?
Emotionale Bremsen?
Für all das lassen sich "Werkzeuge" bauen.
Es ist immer die humanitäre, ethische Bewertung, die uns sagt, welche Hürden für WEN / WOFÜR schlecht sind.
Da muss man anfangen beim Transhumanismus, die richtigen ethischen Fragen stellen. Geht es darum, einigen Menschen elitäre Überlegenheit zu verschaffen? Oder worum geht es? Sind diese Ziele des Transhumanismus offengelegt?