Jammer-Thread

[Chromanoid]

Die Grundwahrheit ergibt sich bei KI ja leider aus dem Kontext (Prompt usw.) und einem damit "statistisch verknüpften" Durchschnitt der Trainingsdaten. Da kann ein "Bitte" in der Prompt oder ein "// wirklich wichtig" im Test-Code dazu führen, dass sich die KI völlig anders verhält. KI ist eine Art statistischer Wendehals... Das lässt sich wahrscheinlich nur durch sehr kuratierte gewichtete Trainingsdaten verbessern, aber richtig lösen kann man das glaube ich prinzipiell nicht in LLMs.

Wir Menschen erarbeiten unsere Grundwahrheit eben komplett anders und sie ist auch viel statischer. Da ist die fehlende Plastizität viel eher das Problem. Siehe Plancksches Prinzip...

[Schrompf]

Das Prinzip ist knuffig. Aber Menschen sind zumindest prinzipiell dazu fähig, neue Erkenntnisse in geänderte Ansichten umzusetzen. LLMs können das prinzipbedingt nicht. Daher finde ich den Vergleich unpassend.

Man könnte mit ein bissl Biegen und Brechen herleiten, dass LLM-Nachfolger-Modelle mit neuen Trainingsdaten eine "Generation" sind, und dann passt Planck auch darauf. Aber das ist schon arg an den Haaren herbeigezogen.

[antisteo]

Die KI auf den Server lassen... was soll schon passieren?

ist ein minimaler nodejs auf Localhost.

[Chromanoid]

Das sollte auch nicht heißen, dass Menschen das nicht können. Aber jedes LLM jeder Generation wird "die Wahrheit" ja nur je Kontext statistisch herleiten. Das machen Menschen wohl eher nicht. Da ist das "gespeicherte Wissen" nicht so kontextuell verankert, sondern an einen persönlichen biopsychosozialen Werdegang gekoppelt, der das erlernte Wissen so viel stärker (mehr oder weniger wörtlich) Schritt für Schritt in eine möglichst kohärente Weltsicht integriert. Bei LLMs ist diese "Weltsicht" ja von Anfang an ein komplexer Haufen Token, die irgendwie in Beziehung stehen, ohne an mehr als das gemessen zu werden.

[Schrompf]

Ok, das verstehe ich. Menschen passen neue Informationen stark an ihr existierendes Weltbild an. LLMs, wenn man deren emergente Intelligenz so betrachten wöllte, sind da weniger "voreingenommen". Und damit eigentlich im Vorteil. Sie reproduzieren am Ende genauso die Vorurteile aus den Trainingsdaten, aber da ist beiden gleich, denke ich. Bei den Menschen heißt es dann halt "soziale Prägung" oder "Kinderstube" :-)

[Chromanoid]

Verstehe, was Du meinst. Aber bei uns ist Lernen ja an metabolische Prozesse gekoppelt. Wir werden bestimmte Wahrheiten sozusagen physikalisch eingeprägt bekommen. Wir werden (vielleicht sogar genetisch) geprägt zu erkennen, dass zwei Apfelspalten mehr sind als eine. Die Gewichtung die dabei stattfindet ist eben nicht nur an die Aussage 1+1=2 gekoppelt, sondern an ein physisches Erleben, dass diese "Wahrheit" stärker gewichtet als das bei reinen Informationen normalerweise der Fall wäre. Hier hat die "echte" Welt also einen trainierenden "erdenden" Einfluss.

Das lässt sich bei mathematischen Zusammenhängen bei LLMs sicher auch irgendwie mit Gewichtung umsetzen, aber bei wortreichen Beschreibungen wird das für ein LLM sicher aufwändiger umzusetzen sein. Da sind Mathe und Programmiersprachen wahrscheinlich wirklich für ein LLM, das was bei uns die reale Welt übernimmt - eine von außen kommende Validierungsfunktion. Daher können LLMs das ja auch so gut. Aber wenn es um Entscheidungen geht, ob man den Test vielleicht einfach entschärfen sollte, greifen diese Validierungsfunktionen nicht so gut.

Im Gegensatz zur LLM hat man als Mensch mit dieser Entscheidung vielleicht sogar schon mal eine "metabolisch"/körperliche Erfahrung gemacht. Sei es in anderem Kontext oder als erfahrener Entwickler erinnert man sich an einen Fall, wo man unter hohen metabolischen Kosten versucht hat einen Fehler zu finden, bei dem ein Unittest einfach die Assertions umgangen hat. So eine Erfahrung wird dann ganz anders "natürlicherweise" gewichtet. Ein LLM muss die vielleicht 5% seiner Texte in diesem Zusammenhang ohne "metabolische Bewertung" irgendwie in die Entscheidung integrieren.