Ist euch auch schon aufgefallen, dass man an Themen, in denen man sich gut auskennt, erst so richtig merkt, wie schlecht der Output von LLMs ist?
Wenn das stimmt, bedeutet das, dass Leute, die sich allzu sehr von LLMs beeindrucken lassen, insgesamt wenig Ahnung haben.
@ennopark
Ja.
Aber bald ist auch das egal.
https://www.techspot.com/news/109071-ai-reliance-linked-drop-doctors-cancer-detection-skills.html
@ennopark Viel schlimmer wird es anders herum: wenn ich vom Thema nur so eine ungefähre Ahnung habe, neige ich wohl eher dazu, den Schrott zu glauben, da der Chatbot mir vorgaukelt, er/sie/es hätte Ahnung.
Die Dinger erinnern mich immer mehr an die hier
@larsmb @kiefheim @ennopark naja, Stochastik mit einem oft brauchbaren fit für in-sample-Prognosen, leider ohne Angabe von Gütemaßen, Prognosefehler u.ä. ... und die 1-3% fehlerhaft prognostizierter Content sind leider die, auf die es fachlich ankäme, der Rest sind füllwörter, allgemeine Satzkonstruktion u.s.w.
Wobei meine Erfahrung auch ist, dass viele auch Prognosen mit konfidenzband nicht verstehen. Selbst wenn man es ihnen direkt davor und wiederholt erklärt hat.
@dancing_goblin @kiefheim @ennopark Ja, es gibt viele Fälle, in denen es die falschen Tools sind oder in denen sie falsch eingesetzt werden.
Ich finde es nur unredlich es so darzustellen, als gäbe es überhaupt keine sinnvollen Anwendungsfälle.
Die Probleme sind Hype und Ethik. Insbesondere letzteres, weil ersteres ein Spezialfall davon ist. Nicht dass die Tools komplett sinnlos sind.
@ennopark Ich fand das hier sehr aufschlussreich:
https://www.derstandard.at/story/3000000284449/wie-top-manager-die-ki-heute-schon-nutzen
LLMs sind ein High-Level-Tool. Wo es auch vorher schon darauf ankam, sich einen schnellen und oberflächlichen Überblick über möglichst viele Themen zu verschaffen, sparen sie vermutlich tatsächlich Zeit. Leider gehört genau das zur Jobbschreibung von CEOs.
wenn das die KI kann, dann braucht man ja wohl keine CEOs mehr? ¯\_(ツ)_/¯
@olaf_radicke @ennopark das Schlüsselwort ist hier "suchen".
Ein LLM ist halt dafür nur bedingt geeignet.
das kannte ich noch nicht, sehr erhellend, danke
Proof me wrong: the reason llms seem to work so well for some jobs is not because they don't produce shit: it's because those jobs, hell some whole industries we're bullshit from the start
Das ist offensichtlich. LLM ist nicht dazu da, Menschen zu beeindrucken. Es ist ein Werkzeug, das unterstützen und weiterhelfen kann. Insbesondere dort, wo man sich nicht so gut auskennt. Das enthebt aber niemanden der Pflicht und Verantwortung, das Ergebnis zu prüfen.
Das "von vorneherein einarbeiten" ist unter Umständen sehr zeitaufwändig.
Beispiel: Ich möchte ein Shellskript, welches mir aus einer Anzahl von Text-Dateien bestimmte Inhalte extrahiert. Natürlich kann ich mich vorab in die Syntax der Dateien sowie sed und awk einarbeiten. Wenn ich weiß, was ich will, und mich auskenne, spart mir die LLM einen Tag Arbeit, da ich mit vorhandener Kompetenz den Lösungsprozess steuern und das Ergebnis verstehen kann. Ich bekomme es sogar erklärt.
Manager und Politiker, die sagen "hier, so isses, der computer gibt mir recht!" haben den falschen Job.
Ein LLM wird, basierend auf den vorhandenen Daten, ganz sicher richtig arbeiten.
Aber Managen und gesellschaftsverträgliche Politik sind eben mehr als "Ergebnisse zu verkünden".
Und – offen gesagt – würde ich aktuell einem guten LLM mehr Ehrlichkeit bei der Interpretation der Ergebnisse zutrauen als den offiziell verantwortlichen Personen.
Ich weiß.
Das ändert nichts an der objektiven Richtigkeit meines Standpunktes.
@_RyekDarkener_
So richtig wie das die Trainingsdaten zulassen. In Nischendomänen und in Domänen, wo Mythen Fakten quantitativ ausstechen, wird ein allgemeines LLM immer schlechte Ergebnisse liefern. Bei Newtonscher Bewegung wird sie dagegen recht akkurat sein.
Kontextbewusstsein und kritisches Hinterfragen sollte man nie ausschalten, egal mit wem man chattet.
@_RyekDarkener_
Hätt' ich fast vergessen, man muss auch wissen wo LLMs grundsättlich versagen, zb können sie nicht rechnen...
Geht our ähnlich. Es erspart einem vielleicht eine Riesentextmenge lesen zu müssen, wenn ich eigentlich nur einen schnellen Überblick haben will. Aber bei sehr konkreten Fragen finden die Dinger keine Antwort. Da bin ich besser dran, mich selber durch Quellen zu lesen. Und ich stelle eben häufiger Fragen, wo ich eben nicht wissen will, was mir gefühlt jeder runterbeten kann.
Ein schnelles Template für irgendwas konkretes, das geht auch. Grobe Anregung.
Aber Sachfragen zu einem speziellen Sachverhalt, wo ich gezielt eine bestimmte Information suche. Nope.
@ennopark ja, das fällt allgemein auf. Sinnvolle Verwendungen gibt es imho trotzdem, z.B.:
Einfache Routinetätigkeiten automatisieren, bei denen sich das Scripting sonst nicht rentiert hätte.
Sich "vom LLM prompten" lassen: z.B. zu einem Themenbereich Übungsaufgaben vorschlagen lassen und die dann selbst ausarbeiten.
Schreibblockaden überwinden: Statt vor dem leeren Bildschirm zu verzweifeln den Output des LLMs als schlechtes Beispiel nehmen und es selber besser machen.
LLM als Lektor
@ennopark fällt mir jedesmal auf, wenn ich es für die Arbeit doch noch Mal ausprobiere.
In meiner DND Runde habe ich mir damit ein Abenteuer ausschmücken lassen. Selbst da war nur ein kleiner Teil brauchbar.
@ennopark So faszinierend das auch alles sein mag, diese Scheiße macht so grundlegende Fehler, bei Basis-Wissen, das ein Einsatz im beruflichen Umfeld geradezu hochriskant erscheint.
Dennoch für manche Kreativ-Aufgaben find ich das spannend. Also z.B. eine Idee für einen neuen Track-titel erarbeiten.
Sagen wir mal so: Das Phänomen ist mir bei Artikeln aus der "Qualitätspresse" auch schon häufiger aufgefallen, bevor es LLMs gab.
(LLMs machen es nur noch schlimmer).
Enno Park
AnaEmperor
Roterhai
(╯°□°）╯︵(\ .o.)\
Reinald Kirchner
fh0
Martin Vogel
Morsus Apri R.I.P. Natenom🕯️🖤
Paul J Wege
Katja Heimann-Kiefer
Lars Marowsky-Brée 😷
Norbert Schanne
Anselm Bühling
foax
tauli
Marwe
Arnim Sommer 🇪🇺
Bugspriet
Olaf
Johann Uhrmann
kitkat
datenwolf
Alexander Goeres 𒀯
dex77
Ryek Darkener
Heinrichsgeist
Lord Caramac the Clueless, KSC
Elischeva
Benedikt
Samuel Hierholzer
Crazy-to-Bike
bee
riese
Klarname 
Kay Burki
Martin
:hal_9000:
silmaril
💚
Tim 🐧(Akkoma)
Berg Am Laimerin (bis 12.2025)