M.O.I Abt. Wiederbeschaffung schrieb am 24.07.2023 18:17:
Solche "Derivate" haben ein Problem: die Qualität der Daten wird von Generation zu Generation schlechter. Zum einen durch statistische Effekte, zum anderen weil die LLM's halt eine gewisse "Kreativität" an den Tag legen. Das bedeutet, selbst in den Daten für's Finetuning (die auch schon zu groß sind um sie noch manuell durchzuarbeiten) steht Bullshit.
Das nennt sich MAD (Echt jetzt).
https://www.linkedin.com/news/story/digitale-krankheit-mad-bef%C3%A4llt-ki-modelle-5376817/
https://1e9.community/t/werden-chatgpt-und-co-an-digitalem-rinderwahn-erkranken-weil-das-internet-mit-ki-inhalten-ueberflutet-wird/19397
https://arxiv.org/pdf/2307.01850.pdf
https://arxiv.org/pdf/2305.17493.pdf
Und wo dann garantiert versucht wird, das mit immer größeren Modellen - also immer mehr Rechenleistung - zu korrigieren. (42) Wo man dann am Ende hinschaut und feststellt, was das für eine gigantische Verschwendung von Energie und Zeit war.
Wie bei Douglas Adams: Per Anhalter durch die Galaxis. Am Ende ist die Erde der Computer... und die Menschen der Treibstoff...