Ist euch auch schon aufgefallen, dass man an Themen, in denen man sich gut auskennt, erst so richtig merkt, wie schlecht der Output von LLMs ist?

Wenn das stimmt, bedeutet das, dass Leute, die sich allzu sehr von LLMs beeindrucken lassen, insgesamt wenig Ahnung haben.

@ennopark

Das ist offensichtlich. LLM ist nicht dazu da, Menschen zu beeindrucken. Es ist ein Werkzeug, das unterstützen und weiterhelfen kann. Insbesondere dort, wo man sich nicht so gut auskennt. Das enthebt aber niemanden der Pflicht und Verantwortung, das Ergebnis zu prüfen.

@Ryek Darkener
Insbesondere dort, wo man sich nicht so gut auskennt
das ist aber eine sehr trügerische ansicht. nach meiner erfahrung ist die information durch LLM oft falsch oder unvollständig. gerade, wenn man sich nicht gut auskennt, darf man sich in keinster weise auf das ergebnis eines propmts verlassen. man muss dann das ergebnis nachkontrollieren, genau so, als würde man sich von vornherein darin einarbeiten .. LLM ist also in solch einem fall überflüssig, ja geradezu ein hindernis.

@jabgoe2089

Das "von vorneherein einarbeiten" ist unter Umständen sehr zeitaufwändig.
Beispiel: Ich möchte ein Shellskript, welches mir aus einer Anzahl von Text-Dateien bestimmte Inhalte extrahiert. Natürlich kann ich mich vorab in die Syntax der Dateien sowie sed und awk einarbeiten. Wenn ich weiß, was ich will, und mich auskenne, spart mir die LLM einen Tag Arbeit, da ich mit vorhandener Kompetenz den Lösungsprozess steuern und das Ergebnis verstehen kann. Ich bekomme es sogar erklärt.

@Ryek Darkener ok, bei so etwas einfachem wie ein programm ohne größere komplexität ist das natürlich weniger problematisch. da erfolgt die kontrolle mit ./lass-programm-laufen.

ich dachte eher an solche dinge wie, nenne mir die anteile an nicht beschäftigbaren arbeitslosen innerhalb der gesamtzahl der arbeitslosen, aufgegliedert nach geschlecht, alter und ausbildung.

also irgendwas, was manager gerne sehen und dann sagen: hier, so isses, der computer gibt mir recht!

@jabgoe2089

Manager und Politiker, die sagen "hier, so isses, der computer gibt mir recht!" haben den falschen Job.

Ein LLM wird, basierend auf den vorhandenen Daten, ganz sicher richtig arbeiten.
Aber Managen und gesellschaftsverträgliche Politik sind eben mehr als "Ergebnisse zu verkünden".
Und – offen gesagt – würde ich aktuell einem guten LLM mehr Ehrlichkeit bei der Interpretation der Ergebnisse zutrauen als den offiziell verantwortlichen Personen.

@_RyekDarkener_
So richtig wie das die Trainingsdaten zulassen. In Nischendomänen und in Domänen, wo Mythen Fakten quantitativ ausstechen, wird ein allgemeines LLM immer schlechte Ergebnisse liefern. Bei Newtonscher Bewegung wird sie dagegen recht akkurat sein.

Kontextbewusstsein und kritisches Hinterfragen sollte man nie ausschalten, egal mit wem man chattet.

@jabgoe2089

@_RyekDarkener_
Hätt' ich fast vergessen, man muss auch wissen wo LLMs grundsättlich versagen, zb können sie nicht rechnen...

@jabgoe2089