Ist euch auch schon aufgefallen, dass man an Themen, in denen man sich gut auskennt, erst so richtig merkt, wie schlecht der Output von LLMs ist?

Wenn das stimmt, bedeutet das, dass Leute, die sich allzu sehr von LLMs beeindrucken lassen, insgesamt wenig Ahnung haben.

@ennopark Das war seinerzeit mein erster Test von ChatGPT: Fachliche Frage, die Antwort war erschütternd falsch.
Ewiges Misstrauen gesichert.
@kiefheim @ennopark Wobei das auch ein Fall von "falsches Werkzeug für die Aufgabe" ist.
LLMs sind keine Datenbanken, sondern Stochastik. Das ist nicht per se komplett wertlos.

@larsmb @kiefheim @ennopark naja, Stochastik mit einem oft brauchbaren fit für in-sample-Prognosen, leider ohne Angabe von Gütemaßen, Prognosefehler u.ä. ... und die 1-3% fehlerhaft prognostizierter Content sind leider die, auf die es fachlich ankäme, der Rest sind füllwörter, allgemeine Satzkonstruktion u.s.w.

Wobei meine Erfahrung auch ist, dass viele auch Prognosen mit konfidenzband nicht verstehen. Selbst wenn man es ihnen direkt davor und wiederholt erklärt hat.

@dancing_goblin @kiefheim @ennopark Ja, es gibt viele Fälle, in denen es die falschen Tools sind oder in denen sie falsch eingesetzt werden.
Ich finde es nur unredlich es so darzustellen, als gäbe es überhaupt keine sinnvollen Anwendungsfälle.

Die Probleme sind Hype und Ethik. Insbesondere letzteres, weil ersteres ein Spezialfall davon ist. Nicht dass die Tools komplett sinnlos sind.

@larsmb @dancing_goblin @ennopark Vielleicht ganz interessant in diesem Zusammenhang: das MI-Siegel für menschliche Intelligenz. mi-siegel.de. Hier garantieren Profis aus verschiedenen Branchen, dass man bei ihnen echte und vom Fachmensch geprüfte Arbeit bekommt, dass sie KI-Tools bei ihrer Arbeit nicht unkontrolliert einsetzen, sondern dass Verstand und Fachwissen immer das letzte Wort haben.
Man kann sich ja sonst auf nichts mehr verlassen.