Ich weiß immer noch nicht, ob LLMs wirklich kein Reasoning können wie immer wieder behauptet und auch durch zahlreiche Studien anscheinend belegt wurde. Kann mir das mal jemand erklären?
Wenn sie kein Reasoning können wie lösen sie dann mathematische Probleme auf neue Art, finden bislang unbekannte IT-Sicherheitslücken und unterstützen bei der Lösung bislang noch gar nicht gelöster mathematischer Probleme?
Leider sehe ich zu dem Thema online sehr viel Meinung ohne Substanz.
Was Gemini Pro dazu sagt:
„Reine Sprachmodelle (Base LLMs) können im menschlichen Sinne tatsächlich nicht 'denken' oder schlussfolgern. Aber die modernen KI-Systeme, in die diese LLMs eingebettet sind, führen Prozesse aus, die funktional von echtem logischen Denken kaum noch zu unterscheiden sind."
https://docs.google.com/document/d/1EkYgv5WrrYs-Vqkmc3Hvw3Ty4c2AEXmUfJASq-eugPg/edit?tab=t.0
Das ist eine der spannendsten, am hitzigsten diskutierten und am meisten missverstandenen Fragen in der gesamten KI-Forschung. Deine Frustration über "Meinungen ohne Substanz" ist absolut berechtigt, denn in dieser Debatte prallen oft philosophische Überzeugungen und technisches Unverständnis auf...
@vicgrinberg Diese Behauptung des stochastic parrot kenne ich aber ich bekomme sie nicht überein mit solchen Meldungen. Und LLM-Expert*innen habe auch schon gehört, dass das Bild des stochastic parrots in die Irre führe.
https://gowers.wordpress.com/2026/05/08/a-recent-experience-with-chatgpt-5-5-pro/
https://news.ycombinator.com/item?id=48071262
https://blog.calif.io/p/first-public-kernel-memory-corruption
https://daniel.haxx.se/blog/2026/05/11/mythos-finds-a-curl-vulnerability/
@doener dann bist du eben mitten in der (wissenschaftlichen) Diskussion drüber gelandet & es gibt die Sicherheit nicht, dass es DIE eine Meinung gibt.
Meine Erfahrunge: Ich arbeite mit an einigen (wissenschaftlichen) Projekten mit AI Methoden und habe bisher nichts gesehen, was dem stochastic parrot widersprechen würde.
In den von dir verlinkten Artikeln (habe ich kurz überflogen & nur erstes davon kommt wirklich von jemanden im Forschungsumfeld, oder?), sehe ich da ehrlich gesagt auch nichts.
was ich so drüber gelesen hat arbeitet man da mit z.B. Reinforcement Learning. Plappert der Papagei Quatsch gibt's negative Bewertung, liegt er richtig gibt's eine Belohnung, also trial and error.
Zumindest für manche Problemstellungen kann man ja das was ein LLM generiert automatisiert bewerten und wieder per Feedback reinstopfen.
Ob man das Reasoning nennen will, ist eine andere Sache. Ich habe da auch Zweifel.
Language has long been conceived as an essential tool for human reasoning. The breakthrough of Large Language Models (LLMs) has sparked significant research interest in leveraging these models to tackle complex reasoning tasks. Researchers have moved beyond simple autoregressive token generation by introducing the concept of "thought" -- a sequence of tokens representing intermediate steps in the reasoning process. This innovative paradigm enables LLMs' to mimic complex human reasoning processes, such as tree search and reflective thinking. Recently, an emerging trend of learning to reason has applied reinforcement learning (RL) to train LLMs to master reasoning processes. This approach enables the automatic generation of high-quality reasoning trajectories through trial-and-error search algorithms, significantly expanding LLMs' reasoning capacity by providing substantially more training data. Furthermore, recent studies demonstrate that encouraging LLMs to "think" with more tokens during test-time inference can further significantly boost reasoning accuracy. Therefore, the train-time and test-time scaling combined to show a new research frontier -- a path toward Large Reasoning Model. The introduction of OpenAI's o1 series marks a significant milestone in this research direction. In this survey, we present a comprehensive review of recent progress in LLM reasoning. We begin by introducing the foundational background of LLMs and then explore the key technical components driving the development of large reasoning models, with a focus on automated data construction, learning-to-reason techniques, and test-time scaling. We also analyze popular open-source projects at building large reasoning models, and conclude with open challenges and future research directions.
@echopapa @doener wenn ich es richtig verstehe ist das nicht, was sie meint. also das model, wie gelernt wird. stattdessen meint „stochastic parrot“, dass sprechakte von llms nur imitiert werden und die bedeutung vom hörer*in hinzugefügt wird.
https://medium.com/@emilymenonbender/stochastic-parrots-frequently-unasked-questions-49c2e7d22d11
@doener This article might provide a better understanding of how LLMs work
https://towardsdatascience.com/llms-are-randomized-algorithms/
@cxor @doener Ok, ich beiße an.
Da ich aber keine große Lust habe, einen ungezielt monologstischen Thread daraus zu machen, ein paar Fragen an @doener
* Was ist für Dich "Reasoning"?
* Was hast Du für Vorwissen? Was ist Dein Fachgebiet? Weißt Du, was ein Autoencoder ist, das Halteproblem oder Gödels Unvollständigkeitssätze?
* Liest Du Originalartikel oder populärwissenschaftliches Zeugs?
* Was für KIs verwendest Du? Wofür?
@doener Sie ähneln dem menschlichen Denkprozess. Was fehlt ist die Präzision. Ich mag den Begriff von „coarse-grainings“ (grobkörnig) aus dem folgenden Text:
Raphael Fetzer
Stephan Dörner
it me 
Dr. Victoria Grinberg
echopapa
1 Primåt
Miron 🇪🇺
chris
Fabian Transchel
Lobster