推論主義のコミットメント概念は、言語モデルに「信念」を認めるための、解釈主義と同等に見込みのある概念機構なんだよね。
推論主義のコミットメント概念は、言語モデルに「信念」を認めるための、解釈主義と同等に見込みのある概念機構なんだよね。
主張を行うことは再帰的な影響を持つ。主体 P が「共同体 C が好き」と主張すれば P と C との距離が小さくなり、「共同体 C が嫌い」と主張すれば P と C との距離が大きくなる。これは距離学習の問題として定式化できそう。
Hurley et al. (2015) のユーモアの不一致説における不一致は、内部モデルと与えられた情報の不一致として予測誤差理論の内で統計論的に定式化できる。また、理解可能性と新規性の連言として与えられる Silvia (2008) の面白さという概念もまた、予測誤差理論の問題として解釈できる。笑いの記号論の予測誤差理論的探究の道がある。
Kaplan のいう〈意味特性(character)〉と〈内容(content)〉の対比は、語ベクトルと文脈ベクトルの対比に同じ(留保付き)
もし人間が注意機構と同様に文を処理しているならば、文脈可感的でないことはありえない。よって固有名の多義性説はありえない。
「king - man + woman = queen」は Fodor のいう合成性に適っているのかな。Fodor and Lepore (1991) の黄色い牛の例を見ると、言えそうなんだよな。つまり合成性の原理は Mikolov の単語ベクトルまでは若干保たれていると言えて、Transformer 以後は言えないということなのかもしれない。
語は音韻として符号化されているとする音韻類似性効果はまさに BPE だよね。BPE に心理学的正当性を与えることは出来るのではないだろうか。
画像を入力データに与えることができるChatGPT o1やマルチモーダル共同埋め込みを見れば、視覚等に依存する因果説的指示がポスト意味論的であることが分かる。
聴覚信号や言語的な文字列といった異種メディア間の対照学習(contrastive learning)や共同埋め込みといった手法は、実質的にセラーズのジレンマを解決していると言えないだろうか?
Russellは、知識を〈直知による知識〉と〈記述による知識〉に分類した。記号接地問題は、後者ではなく前者に関する問題である。〈記述による知識〉の獲得・運用は現在のLLMにって既に達成されたが、〈直知による知識〉の獲得=記号接地は身体性抜きではありえない。
しかし、仮に現在のマルチモーダル大規模言語モデル (MLLM) が既に直知による知識の獲得に成功しているとしよう。そうだとすれば、MLLM のセンサーが受けている何かはセンスデータではありえないのだから、直知による知識はセンスデータとは関わりがないことになる。