Jammer-Thread

[Chromanoid]

Die Grundwahrheit ergibt sich bei KI ja leider aus dem Kontext (Prompt usw.) und einem damit "statistisch verknüpften" Durchschnitt der Trainingsdaten. Da kann ein "Bitte" in der Prompt oder ein "// wirklich wichtig" im Test-Code dazu führen, dass sich die KI völlig anders verhält. KI ist eine Art statistischer Wendehals... Das lässt sich wahrscheinlich nur durch sehr kuratierte gewichtete Trainingsdaten verbessern, aber richtig lösen kann man das glaube ich prinzipiell nicht in LLMs.

Wir Menschen erarbeiten unsere Grundwahrheit eben komplett anders und sie ist auch viel statischer. Da ist die fehlende Plastizität viel eher das Problem. Siehe Plancksches Prinzip...

[Schrompf]

Das Prinzip ist knuffig. Aber Menschen sind zumindest prinzipiell dazu fähig, neue Erkenntnisse in geänderte Ansichten umzusetzen. LLMs können das prinzipbedingt nicht. Daher finde ich den Vergleich unpassend.

Man könnte mit ein bissl Biegen und Brechen herleiten, dass LLM-Nachfolger-Modelle mit neuen Trainingsdaten eine "Generation" sind, und dann passt Planck auch darauf. Aber das ist schon arg an den Haaren herbeigezogen.

[antisteo]

Die KI auf den Server lassen... was soll schon passieren?

ist ein minimaler nodejs auf Localhost.

[Chromanoid]

Das sollte auch nicht heißen, dass Menschen das nicht können. Aber jedes LLM jeder Generation wird "die Wahrheit" ja nur je Kontext statistisch herleiten. Das machen Menschen wohl eher nicht. Da ist das "gespeicherte Wissen" nicht so kontextuell verankert, sondern an einen persönlichen biopsychosozialen Werdegang gekoppelt, der das erlernte Wissen so viel stärker (mehr oder weniger wörtlich) Schritt für Schritt in eine möglichst kohärente Weltsicht integriert. Bei LLMs ist diese "Weltsicht" ja von Anfang an ein komplexer Haufen Token, die irgendwie in Beziehung stehen, ohne an mehr als das gemessen zu werden.

[Schrompf]

Ok, das verstehe ich. Menschen passen neue Informationen stark an ihr existierendes Weltbild an. LLMs, wenn man deren emergente Intelligenz so betrachten wöllte, sind da weniger "voreingenommen". Und damit eigentlich im Vorteil. Sie reproduzieren am Ende genauso die Vorurteile aus den Trainingsdaten, aber da ist beiden gleich, denke ich. Bei den Menschen heißt es dann halt "soziale Prägung" oder "Kinderstube" :-)

[Chromanoid]

Verstehe, was Du meinst. Aber bei uns ist Lernen ja an metabolische Prozesse gekoppelt. Wir werden bestimmte Wahrheiten sozusagen physikalisch eingeprägt bekommen. Wir werden (vielleicht sogar genetisch) geprägt zu erkennen, dass zwei Apfelspalten mehr sind als eine. Die Gewichtung die dabei stattfindet ist eben nicht nur an die Aussage 1+1=2 gekoppelt, sondern an ein physisches Erleben, dass diese "Wahrheit" stärker gewichtet als das bei reinen Informationen normalerweise der Fall wäre. Hier hat die "echte" Welt also einen trainierenden "erdenden" Einfluss.

Das lässt sich bei mathematischen Zusammenhängen bei LLMs sicher auch irgendwie mit Gewichtung umsetzen, aber bei wortreichen Beschreibungen wird das für ein LLM sicher aufwändiger umzusetzen sein. Da sind Mathe und Programmiersprachen wahrscheinlich wirklich für ein LLM, das was bei uns die reale Welt übernimmt - eine von außen kommende Validierungsfunktion. Daher können LLMs das ja auch so gut. Aber wenn es um Entscheidungen geht, ob man den Test vielleicht einfach entschärfen sollte, greifen diese Validierungsfunktionen nicht so gut.

Im Gegensatz zum LLM hat man als Mensch mit dieser Entscheidung vielleicht sogar schon mal eine "metabolisch"/körperliche Erfahrung gemacht. Sei es in anderem Kontext oder als erfahrener Entwickler erinnert man sich an einen Fall, wo man unter hohen metabolischen Kosten versucht hat einen Fehler zu finden, bei dem ein Unittest einfach die Assertions umgangen hat. So eine Erfahrung wird dann ganz anders "natürlicherweise" gewichtet. Ein LLM muss die vielleicht 5% seiner Texte in diesem Zusammenhang ohne "metabolische Bewertung" irgendwie in die Entscheidung integrieren.

[Jonathan]

Man muss aber noch zwei Sachen unterscheiden, denke ich. Das eine ist ein fest trainiertes LLM, dass durch Internetsuche etc. seinen Kontext erweitert und dadurch quasi temporär dazu lernen kann um eine Frage zu beantworten. Da hat der antrainierte Bias sicherlich einen sehr großen Einfluss. Ganz anders ist dann aber Finetuning, d.h. das LLM ein Stück weit neu zu trainieren. Mir scheint, dass sich da das Verhalten doch recht leicht ändern lässt, zum Beispiel wenn man sich anschaut, wie einfach es zu sein scheint, LLMs zu vergiften:

https://www.heise.de/news/Data-Poisonin ... 64834.html

(Was natürlich gesellschaftlich höchst bedenklich ist - da LLMs auf dem ganzen Internet lernen, kann jeder Depp irgendwo ein bisschen LLM Gift verstreuen und einen gewaltigen Bias bewirken. Bei Fragen über Spitzenpolitikern mag das sofort auffallen, aber wenn z.B. sein eigenes, lokales mittelständige Unternehmen im passenden Kontext immer hoch gelobt wird, überprüft das garantiert absolut niemand. Das könnte die neue Suchmaschinenoptimierung werden...)


Und zum anderen: Ich würde nicht unbedingt sagen, dass Programmiersprachen die Welt sind, in denen LLMs denken. Programmiersprachen sind schlicht das, was exzessiv auf StackOverflow diskutiert wurde, als es das noch gab. Erkennt man IMO sehr gut daran, dass ChatGPT Java Script unfassbar gut kann, aber eine Sprache wie Typst absolut überhaupt nicht. Typst ist aber genau so quelloffen, sämtliche Dokumentation ist zugänglich, alle benötigten Informationen um jede Frage dazu zu beantworten sind sehr leicht verfügbar. Aber offensichtlich reicht das nicht, und so ist der einzige Unterschied den ich sehe, dass es halt nicht seit 20 Jahren auf Stackoverflow diskutiert wurde, weil es eine noch sehr junge und noch sehr unpopuläre Sprache ist.

KIs könnte vermutlich durchaus "in Programmiersprachen denken", mit Reinforcement-Learning sollte das prinzipiell gehen, ich möchte damit also nur sagen, dass ich noch nie irgendwo gelesen habe, dass sowas heute schon im relevanten Ausmaße geschieht.

[Chromanoid]

Ich meine das anders. Was an Programmiersprachen so toll ist, ist nicht unbedingt, dass viel im Internet darüber steht, sondern dass es eine Möglichkeit gibt bestimmte Aspekte unabhängig vom LLM zu validieren (Syntax, Kompilierbarkeit, Linting usw.). Das gilt auch für Mathe. Aber nicht für viele andere Sachen. Da muss man wieder Texte heranziehen, die keine harten Kriterien bieten können. Man kann das LLM nicht nur ganz viel Code lesen lassen, sondern auch live Feedback geben und zusätzlich auch beim Training Syntax viel stärker integrieren, wenn man das will. Zudem ergibt sich bei Programmiersprachen ja der Sinn sehr definiert aus dem Quelltext bis hin dazu, dass man den direkt interpretieren kann. Programmieren und Mathe sind für LLMs praktisch der perfekte Aufgabenbereich, der "perfekte Lebensraum", der ein bisschen das übernehmen kann, was bei uns physikalische Gegebenheiten tun.

[antisteo]

Ok, das verstehe ich. Menschen passen neue Informationen stark an ihr existierendes Weltbild an. LLMs, wenn man deren emergente Intelligenz so betrachten wöllte, sind da weniger "voreingenommen". Und damit eigentlich im Vorteil. Sie reproduzieren am Ende genauso die Vorurteile aus den Trainingsdaten, aber da ist beiden gleich, denke ich. Bei den Menschen heißt es dann halt "soziale Prägung" oder "Kinderstube" :-)

Ich habe herausgefunden, dass ich das in der KI aber bewusst über den Kontext steuern kann. Gebe ich der Claude Code AI einfach nur eine Programmieraufgabe, verhält er sich wie ein durchschnittlicher indischer Programmierer. Sage ich ihm "Denke wie ein akribischer Software-Tester" oder "Denke wie ein studierter Informatiker, der zuerst die Mathematik herleitet und dann eine minimale, aber korrekte Lösung implementiert", bekommt man Ergebnisse, die eher in die Richtung gehen, die man möchte. Die LLMs haben eben gleich ALLE Berufe und Menschengruppen studiert und aktivieren die Charaktereigenschaften jeweils gegeben dem Kontext.