jc1 schrieb am 24.06.2024 19:39:
Du stellst also durchgehend das LLM ins Zentrum Deiner Argumentation. Das ist aber noch lange nicht - und darauf will ich hinaus - das Ende der Fahnenstange.
Das hast du bisher nicht erwähnt, aber das ist natürlich richtig: Prinzipiell geht da noch eine Menge mehr.
Aber nicht mit KI-Techniken.
Wer sich ein bißchen mit kNN befaßt hat, weiß zwar, daß das Training einen erheblichen Anteil am "pattern recognition"-Teil ausmacht, aber dahinter und darüber noch erheblich "Luft nach oben" ist. Konjekturen, Aussagenlogik, theorembasierte Verifikation usw., also alles das, was Du meinst, daß die armen VWL-Leutchen selber machen müßten und würden, sind Teil dessen, worauf die maschinelle DV angesetzt werden könnte.
Hat man versucht.
Nannte sich Cyc.
War ein tolles Projekt, aber in der Praxis war das Sammeln all der Fakten so entsetzlich aufwändig, dass es heute so gut wie niemand verwendet.
Und ich sehe auch nicht, wie man LLMs und eine Inferenzmaschine sinnvoll kombinieren kann.
Das LLM weiß ja schon vom Ansatz her nichts. Es kennt linguistische Korrelation, keine Kausalität, eine Inferenzmaschine erhält vom LLM also keine nützlichen Informationen.
Und umgekehrt nützt die Kombination auch nichts: Der Pferdefuß der Inferenzmaschinen ist die Sammlung der relevanten wahren Ausagen über die reale Welt, und dafür hilft das LLM einfach nicht.
Etwas platt formuliert, damit Du auch wieder was zum Meckern hast: Von der "intelligence" zur Intelligenz. Dann wird womöglich das Argument nicht mehr lauten, "ja, aber unser Budget...". Sondern, wer sich den Zugang zu diesem Playground nicht erkaufen kann, wird sich gar nichts mehr kaufen können. Oder bestenfalls so second-hand-Zeug: "Hier hätten wir noch ein etwas veraltetes kleines LLM im Angebot..."
LLMs sind im Grunde ziemlich nutzlos, weder veraltet noch aktuell.
Sie sind toll für flüssig Formuliertes, d.h. man könnte den Output einer Inferenzmaschine als Prompt für ein LLM verwenden und dann einen schön formulierten Essay statt einfach nur eine stumpfe Schlussfolgerung kriegen.
Aber das ist nicht das, was dir vorschwebt.
Eine Rückkopplung. So ähnlich wie die ventilsteuernde Nockenwelle des Verbrennungsmotors oder die Heusinger-Steuerung der Dampfmaschine oder der Kommutator des Gleichstromgenerators. Nur eben nicht im physischen sondern im Datenuniversum.
Schöne Poesie, aber das Wiedergeben bekannten Wissens in neuer Form ist keine Rückkopplung, es fehlt die Schleife: Die alten Texte ändern sich ja nicht.
Nette Prosa, aber diese Rückkopplung ist Bestandteil des hypothetischen Ausblickes, den ich ein paar Zeilen davor knapp skizziert habe.
[/quote]
Der Ausgangspunkt und das Ziel sind klar, aber der Teil dazwischen ist halt einfach nicht da.
Den nimmst du einfach als vorhanden an, aber das ist er ja nicht.
[quote]
Das LLM ist nur der pompöse Auftakt zu etwas, von dem wir - naja, ich jedenfalls, andere wissen ja immer alles besser - annehme(n), es beginne sich abzuzeichnen. Sozusagen die zukünftige Variante des Leitspruchs dieses sonderbaren Herrn Gottfried Wilhelm Lichtenberg: "Ist das denn auch wirklich so?", also den Abgleich des Fabrikats gegen die Gegebenheiten der reellen (oder besser vll. materiellen?) Welt nach Regeln der Prädikatenlogik und der empirischen Wissenschaften.
[/quote]
Ich sehe keinen Pfad, auf dem LLMs dazu etwas beitragen können.
Was Schlussfolgerungen angeht, sind sie ja völlig untauglich.
Platt formuliert (damit auch du mal was zu Meckern hast ;-P ): LLMs kennen nur Korrelationen, keine Kausalitäten.
Und du willst ihnen halt irgendwie Kausalitäten beibringen, aber das wäre ein völlig anderes Vorgehen.