Es liegt schon ein wenig daran, wie KI überhaupt trainiert wird. Das geschieht heute fast ausschließlich mit Hilfe von KI. Da werden schon mal Gedächtnisinhalte direkt übernommen, oder die Trainingsdaten werden durch eine KI erstellt. Denn eine KI mit einigen Milliarden Parametern direkt auf "The Pile" oder ähnliche Mega-Datensammlungen zu setzen und von der Pike auf zu trainieren ist schon außerordentlich kostspielig und zeitaufwendig.
Solche "Derivate" haben ein Problem: die Qualität der Daten wird von Generation zu Generation schlechter. Zum einen durch statistische Effekte, zum anderen weil die LLM's halt eine gewisse "Kreativität" an den Tag legen. Das bedeutet, selbst in den Daten für's Finetuning (die auch schon zu groß sind um sie noch manuell durchzuarbeiten) steht Bullshit.
Und da man zu guter Letzt auch noch KI's verwendet, um die Leistung von KI's zu validieren und die Effizienz neuer Techniken und Methoden zu bewerten, kann das Ganze schon eine gewaltige GIGO-Geschichte werden und ohne dass es wirklich bemerkt wird können sich Fehler einschleichen, die dann dank der Maschinenhörigkeit (der Computer hat immer recht) und wegen der mangelnden Übung im selber denken zu Problemen führen, die lange unbemerkt bleiben. Und wo dann garantiert versucht wird, das mit immer größeren Modellen - also immer mehr Rechenleistung - zu korrigieren. (42) Wo man dann am Ende hinschaut und feststellt, was das für eine gigantische Verschwendung von Energie und Zeit war.