Es ist eine bekloppte Idee den ganzen Müll aus dem Internet in die KI zu kippen.

Ja - die Idee ist bekloppt.
Die Idee NNs alias textbasierte ML System zu bauen und auf Aussagen, die sie außerhalb Ihres Trainigsbereiches gerneriern zu hören ist auch bekloppt.
All diesen bekloppten Ideen gemeinsam ist die Tatsache, dass sie schnell vielfach brauchbare Resultate liefern. Dumm nur, dass die NNs nichts außerhalb Ihres Trainingsraumes wissen - und dummerweise - alle Ihren Ausgaben der gleichen "Goodness/Badness" Faktor zuschreiben.
Noch bekloppter sind natürlich die Menschen, die diesen Müll einsetzen und sich über die vorhersehbaren Ergebnisse echauffieren. (Ich habe seit den 90er etliche KI Projekte auf Basis von NNs Reihenweise scheitern sehen -.) Nur weil die LLMs jetzt zum faken von Englisch-, Geschichts- und Deutschhausaufgaben taugen und langweilige Doku zusammenfabulieren können - heißt das noch lange nicht, das sie für irgend etwas wirklich sinnvoll und richtig wertschöpfend einzusetzen sind...