Mastodawn

🌘 生成式 AI 嚴重且廣泛地未能建立穩固的世界模型：馬可斯論AI
➤ LLM 的盲點：缺乏世界模型的根本性缺陷
✤ https://garymarcus.substack.com/p/generative-ais-crippling-and-widespread
本文探討了生成式 AI（尤其是大型語言模型 LLM）在建立可靠世界模型方面的根本性缺陷。作者指出，LLM 在推理方面的失敗只是更深層問題的一部分，即它們缺乏像人類和動物那樣，能追蹤、更新和理解世界狀態的認知模型。儘管 LLM 在統計分析方面取得了進展，但缺乏明確的世界模型是其核心弱點，這阻礙了它們真正理解並有效推理的能力。作者透過棋局、兒童故事等例子，說明瞭世界模型在認知和 AI 系統中的重要性，並呼籲 AI 研究者重新重視傳統的建模方法。
+ 這篇文章點出了我一直以來對 AI 發展感到擔憂的地方。數據再多，沒有對世界的理解，AI 就只會是鸚鵡學舌。
+ 作者將 LLM 的問題與人類認知模型做了很好的類比，讓我更明白 AI 目前發展的瓶頸在哪裡。難怪 AI 總是出錯。
#人工智慧 #大型語言模型 #世界模型 #認知模型

Generative AI’s crippling and widespread failure to induce robust models of the world

LLM failures to reason, as documented in Apple’s Illusion of Thinking paper, are really only part of a much deeper problem

Marcus on AI

GripNews Jun 8

🌘 使用強化學習訓練大型語言模型以解釋人類決策
➤ 強化學習賦予語言模型解釋人類行為的能力
✤ https://arxiv.org/abs/2505.11614
本研究探討了使用強化學習（Reinforcement Learning）訓練預訓練的大型語言模型（LLM），使其能夠準確預測人類決策，並以自然語言提供可解釋的推理過程。透過以結果為基礎的獎勵機制，引導LLM生成解釋人類冒險選擇的明確推理軌跡。研究結果表明，這種方法能夠產生高品質的解釋，同時提供與人類決策相符的強大定量預測。
+ 這種技術如果能進一步發展，或許能幫助我們更深入瞭解人類的思考模式。
+ 令人興奮的研究！將人工智慧與認知科學結合，有望帶來更智能、更透明的AI系統。
#人工智慧 #認知模型 #強化學習

Using Reinforcement Learning to Train Large Language Models to Explain Human Decisions

A central goal of cognitive modeling is to develop models that not only predict human behavior but also provide insight into the underlying cognitive mechanisms. While neural network models trained on large-scale behavioral data often achieve strong predictive performance, they typically fall short in offering interpretable explanations of the cognitive processes they capture. In this work, we explore the potential of pretrained large language models (LLMs) to serve as dual-purpose cognitive models--capable of both accurate prediction and interpretable explanation in natural language. Specifically, we employ reinforcement learning with outcome-based rewards to guide LLMs toward generating explicit reasoning traces for explaining human risky choices. Our findings demonstrate that this approach produces high-quality explanations alongside strong quantitative predictions of human decisions.

arXiv.org