Yuzuki Arai> “language is not merely a bag of words” (Harris, 1954, p. 17)
bag of words モデルを真っ向から否定していて面白い
F. Saussure の第二原理［言語の線条性］は G. Frege の文脈原理に等しいし、差異の体系はベクトル空間モデルに等しいし、言理学における意味の加算性は単語ベクトルの加算に等しい（存在したのは、内容素ではなく線型空間の基底だった）。言語代数の真の後継者はモンタギュー（動的）意味論である。
Word2Vec による単語の分散表現は言理学の数理モデル＝実装である。分散表現の加減は、記号論者が模索しその前に尽きた意味素の加減に同じである（分散表現における式「𝑣(king) - 𝑣(man) + 𝑣(woman) = 𝑣(queen)」と言理学における式「夫＝男＋既婚者」を比較せよ）。言理学はあまりにも早すぎた。
#philosophy_of_language #structuralist_linguistics #distributional_semantics
現在のTransformerアーキテクチャ、つまりニューラル的言語モデルはネオ分布主義とでも呼ぶべきものだ。確かに統計的言語処理では、言語は「剥き出し」（『哲学探究』126節）であったかもしれない。しかし残差流は我々に剥き出されていない。この点において、言語に関する科学的探究はありうると考えられる。