Mastodawn

🌘 生成式 AI 嚴重且廣泛地未能建立穩固的世界模型：馬可斯論AI
➤ LLM 的盲點：缺乏世界模型的根本性缺陷
✤ https://garymarcus.substack.com/p/generative-ais-crippling-and-widespread
本文探討了生成式 AI（尤其是大型語言模型 LLM）在建立可靠世界模型方面的根本性缺陷。作者指出，LLM 在推理方面的失敗只是更深層問題的一部分，即它們缺乏像人類和動物那樣，能追蹤、更新和理解世界狀態的認知模型。儘管 LLM 在統計分析方面取得了進展，但缺乏明確的世界模型是其核心弱點，這阻礙了它們真正理解並有效推理的能力。作者透過棋局、兒童故事等例子，說明瞭世界模型在認知和 AI 系統中的重要性，並呼籲 AI 研究者重新重視傳統的建模方法。
+ 這篇文章點出了我一直以來對 AI 發展感到擔憂的地方。數據再多，沒有對世界的理解，AI 就只會是鸚鵡學舌。
+ 作者將 LLM 的問題與人類認知模型做了很好的類比，讓我更明白 AI 目前發展的瓶頸在哪裡。難怪 AI 總是出錯。
#人工智慧 #大型語言模型 #世界模型 #認知模型

Generative AI’s crippling and widespread failure to induce robust models of the world

LLM failures to reason, as documented in Apple’s Illusion of Thinking paper, are really only part of a much deeper problem

Marcus on AI

GripNews Jun 5

🌕 AGI 並非多模態
➤ 重新思考通用人工智慧的本質
✤ https://thegradient.pub/agi-is-not-multimodal/
本文指出，目前生成式 AI 的成功並不能代表通用人工智慧 (AGI) 即將到來。作者認為，AGI 的關鍵不在於擴大規模或整合多種模態，而在於具備對物理世界的理解和互動能力。大型語言模型 (LLM) 雖然在語言表現上出色，但其理解能力可能僅僅是基於對符號的統計規律的學習，缺乏對現實世界的真實建模。真正的 AGI 不應僅僅停留在符號操作層面，而需要能夠解決實際的物理問題。
+ 這篇文章讓我開始重新思考目前 AI 發展的重點，或許我們真的過於關注語言模型了。
+ 作者的觀點很有啟發性，物理世界的互動確實是人類智慧的重要組成部分，AI 應該朝這個方向發展。
#人工智慧 #AGI #語言模型 #世界模型

AGI Is Not Multimodal

"In projecting language back as the model for thought, we lose sight of the tacit embodied understanding that undergirds our intelligence." –Terry Winograd The recent successes of generative AI models have convinced some that AGI is imminent. While these models appear to capture the essence of human intelligence, they defy

The Gradient

王永帥🍥Apr 19

#開源分享微軟開源了一個基於《當個創世神》的即時開源互動式世界模型：MineWorld，它可以根據玩家的動作預測遊戲世界接下來的變化，並即時生成新的遊戲畫面

它的核心是一個視覺動作自回歸Transformer模型，它接收遊戲場景和對應玩家動作的配對數據作為輸入，預測接下來的新場景

預測速度非常快，可以做到即時更新

它研發了一種新的並行解碼算法，可以同時預測每一幀中空間冗餘的 token，使不同規模的模型能夠達到每秒生成4到7幀的速度，實現與玩家的即時交互

專案地址： github.com/microsoft/MineWorld

#世界模型 #MineWorld