#202305ns 「話すAI描くAI ChatGPTの頭のなかをのぞき見る」
出村政彬（編集部）。ChatGPTは、数学の問題を出すと興味深い間違い方をする。AIの出した答案を吟味することで、ブラックボックスの中身が見えてくるかもしれない。
---
ChatGPTのような大規模言語モデルのAIは「次の単語を予測する」というタスクをひたすら繰り返し、知識のデータベースがなくても様々な問題に答えることができる。
このAIは四則演算などの手法を自分なりに学び、数学の問題が解ける。ただし、人がしない不自然な誤答もする。AIの習得した数学は人々が知っている数学とは違うようだ。
特定の"呪文"を唱えるだけで難解な数学問題の正答率が劇的に上がる。こうした現象の原因は不明だが、AIが学んだ単語のネットワークの構造を反映しているのかもしれない。
#202305ns 「話すAI描くAI ChatGPTの頭のなかをのぞき見る」
GPTは単語の出現確率を学習するとき、ランダムな位置で文章の後半部を隠し、前半部を頼りに後半の一単語目を当てるというクイズを延々と繰り返す。ここでGPTは直前の単語だけでなく、離れた位置にある他の単語にも注目して、予測精度を高める。
つまり、長い文章であっても、そこに出てくる全ての単語の関係性を網羅的に学び取ろうとする。これを可能にしているのが、GPTのトランスフォーマーという学習アルゴリズムだ。これは文中の離れた位置にある単語同士の関係をつかむのを得意としている。
#202305ns 「話すAI描くAI ChatGPTの頭のなかをのぞき見る」
大規模言語モデルは「心の理論」も獲得できたとされる。どの程度相手の心を理解する力があるかを調べる心の理論の評価テストにおいて、GPT-3.5の正答率は93%だった。7歳の子供が同じテストを受けた場合の正答率は約7割とされるから、かなり高い。
大規模言語モデルの中で動くトランスフォーマーは、すごく大雑把に言えば、入力データを分類してそれに最も近い過去の学習データを取り出してくることで出力を決める。このときにChatGPTは参照する過去のデータを1個に絞るか複数取り混ぜるか決めている？
質問のされ方に応じて参照する過去のデータを1個に絞れば、学習した情報がそのまま出力される。一方、関連しそうなデータを複数とり混ぜることにすれば、過去の学習にはなかった独創的に見える出力内容になるのではないか。
#202305ns 「話すAI描くAI ChatGPTの頭のなかをのぞき見る」
ChatGPTの内部で何が起きているか調べる方法はあるが、言語モデルの規模が大きく複雑になりすぎて「ChatGPTに聞いた方が早い」。認知科学の分野では、実験で人間の様々な応答から脳の機能を探るのが一般的だが、AIに対しても同じ方法が有効なのだ。
大量の文章を学んで難しい質問に答えられても、大規模言語モデルは文法をきちと理解してはいない。日本語の語順と助詞を入れ替え、意味が変わったかどうかをAIに判定させる実験をすると、それがよくわかる。
言語モデルは個々の名詞や動詞といった語彙の意味を捉えるのは得意だが、助詞が持つ文法上の機能はわかっていないようだ。日本語の場合、助詞はノイズのように扱われてしまい、意味がない情報と判断されているのかも。
#202305ns 「話すAI描くAI ChatGPTの頭のなかをのぞき見る」
大規模言語モデルは、特定の言葉に応答して不思議な振る舞いを見せることがある。ChatGPTの場合、問題文の最後に「Let's think step by step」という呪文を加えると、問題の正答率が見違えるように上がった。
この呪文は、他の様々なタイプの問題でも試したところ、数学の文章題から論理的な推論問題、演繹法や帰納法といった記号推論で幅広く有効だった。特に数学の文章題では、そのままでは17.7%しか正解できないテストにおいて78.7%という高スコアを出した。
大規模言語モデルの中には、直感的に答える思考法と、論理的な思考法の双方が獲得されているのではないか。「step by step」の言葉がスイッチのように働くことで、大規模言語モデルの挙動が切り替わるのかも。「多重人格」なのかもしれない。
#202305ns 「話すAI描くAI ChatGPTの頭のなかをのぞき見る」
人間は自身の感覚や経験と関連付けて言葉を覚えている点が今のAIと異なる。今の言語モデルは純粋に言葉の情報しか学んでいない。「上下」や「前後」など初歩的な空間概念すら獲得できていない状態で推論をしようとしても無理があるのではないか。
S_orza