Общество мыслей: совещание внутри LLM

DeepSeek-R1, QwQ-32B и OpenAI o1 показывают результаты, которые невозможно объяснить просто "более длинными рассуждениями". Исследователи из Google Research и University of Chicago обнаружили нечто неожиданное: внутри reasoning-моделей происходит не монолог, а настоящее совещание — симуляция многоперспективного диалога с конфликтами, дебатами и примирением. В статье разбираем: • Почему Chain-of-Thought недостаточен для сложных задач • Что такое Society of Thought и как модели воспроизводят коллективный интеллект • Четыре ключевых паттерна conversational dynamics (вопросы, смена перспектив, конфликт, примирение) • 12 социо-эмоциональных ролей по Bales' IPA, которые возникают в рассуждениях моделей • Diversity (разнообразие) перспектив и почему разнообразие точек зрения критично для accuracy (точности) • Результаты экспериментов: activation steering, RL-обучение и transfer effects Основной вывод: reasoning-модели спонтанно научились имитировать то, что философы и психологи описывали как природу мышления — внутренний диалог между разными голосами. И это работает лучше, чем линейное рассуждение.

https://habr.com/ru/articles/987758/

#LLM #reasoning #ChainofThought #DeepSeekR1 #QwQ32B #OpenAI_o1 #искусственный_интеллект #машинное_обучение #Society_of_Thought

[thread] OpenAI o1, o3 | OpenAI GPT-4o
https://en.wikipedia.org/wiki/OpenAI_o1

* generative pre-trained transformer
* form. known within OpenAI as “Q*"
* o1 spends time "thinking" before it answers
* makes it better at complex reasoning tasks, science & programming than OpenAI GPT-4o
* full v. was released 2024-Dec-05

#LLM #OpenAI #OpenAI_o1 #OpenAI_o3 #GPT4o #ML #TransformerArchitecture #reasoning #COT #ChainOfThought #AGI #AI

OpenAI o1-preview/o1-miniがVS CodeのGitHub Copilot ChatとGitHub Modelsで利用可能に
https://gihyo.jp/article/2024/09/openai-o1-github-copilot?utm_source=feed

#gihyo #技術評論社 #gihyo_jp #GitHub_Copilot #生成AI #OpenAI_o1