My students are often surprised to learn that LLMs aren’t answering their questions. Rather, an LLM answers the question “what would a reply to this look like?” It’s one of the first things I explain in the “Should I use LLMs?” portion of my syllabus.
Welp, posted this late last night then logged in and found it’d been around the world and back.
For everyone who asked, here’s the full section from the syllabus.
@mcnees @[email protected]

German translation:

Sollte ich ChatGPT oder einen anderes LLM verwenden um zu studieren?

Ich würde es nicht empfehlen. Ich versuche, mich über die Möglichkeiten der gängigen LLM-Systeme auf dem Laufenden zu halten. Sie können einiges wirklich gut, wenn man sie richtig einsetzt. Allerdings machen sie häufig Fehler bei der Beantwortung physikalischer Fragen. Manchmxal sind diese Fehler offensichtlich, manchmal subtil und schwer zu erkennen. Die Tatsache, dass man den Ergebnissen von LLM-Systemen nicht trauen kann, sollte Grund genug sein, sich beim Erlernen eines neuen Themas nicht auf diese Systeme zu verlassen.

Das ist aber nicht das einzige Problem. Die Interaktion mit LLMs fühlt sich wie ein Dialog an, daher liegt die Annahme nahe, dass die üblichen Gesprächsregeln gelten. Man stellt eine Frage und erwartet die Erwiederung ist eine Antwort auf die Frage. Es ist jedoch wichtig zu verstehen, dass dies nicht der Fall ist. Ein LLM ist darauf ausgelegt, statistisch wahrscheinliche Antworten auf die Frage „Wie würde eine Antwort auf diese Anfrage klingen?“ zu generieren. Dies ist nicht dasselbe wie die Beantwortung der Frage. Die Antwort kann das Gesuchte liefern, muss es aber nicht. Das ist ein Grund dafür, dass die Ausgabe eines LLM verbindlich klingt, selbst wenn sie falsch ist, und entschuldigend, wenn man auf Fehler hinweist. Sie ist weder verbindlich noch entschuldigend, und sie „denkt“ auch nicht über Ihre Frage nach. Es handelt sich lediglich um Antworten, die am besten zu einem sehr komplexen Satz von Wahrscheinlichkeitskriterien passen.

Ein größeres Problem ist, dass die Verwendung eines LLM den Prozess des Durchdenkens von Fragen und der Entwicklung von Strategien zu deren Beantwortung abkürzt. Es ist nicht so, dass ein LLM nie richtig liegt; oft liefern sie korrekte Ergebnisse. Korrekte Ergebnisse beschränken sich jedoch auf das Material in den Trainingsdaten des Modells – Fragen, deren Beantwortung wir bereits kennen. Sind Sie deshalb hier? Um Fragen zu beantworten, deren Antworten wir bereits kennen? Egal ob Sie Physik, Englisch oder Wirtschaft studieren, alle Ihre Dozenten versuchen Ihnen dabei zu helfen, zu lernen, Fragen selbst zu beantworten. Ein Teil dieser Ausbildung besteht aus Fragen, die wir bereits verstehen, denn das ist eine effektive Methode, um Lernprozesse zu üben, die sich auch auf unbekannte Fragen anwenden lassen. Dies ist einer der wichtigsten Aspekte Ihrer Hochschulausbildung und erfordert Übung. Die Befragung eines LLM mag zwar eine richtige Antwort liefern, muss es aber nicht – in jedem Fall hindert sie Sie daran, diese Prozesse zu üben und zu erlernen.

Zu allem Übel gibt es nun Forschungsergebnisse, die belegen, dass die häufige Nutzung von Lernmanagementsystemen neurologische und verhaltensbezogene Folgen hat. Eine aktuelle Studie fand erhebliche kognitive Defizite und dauerhaft geringere Leistungen im Vergleich zu Gleichaltrigen, die nicht auf diese Systeme angewiesen sind. Das ist ein hoher Preis für einen kurzfristigen Komfort.

Also, ich kann Sie nicht davon abhalten, einen LLM zu verwenden, aber ich möchte Sie dringend bitten, die langfristigen Folgen zu bedenken.