#202305ns コロナ後遺症 脳神経への深刻なダメージ

肺の外にもSARS-CoV-2が存在している初の確かな証拠は #2021y 、シンガポールの研究チームによってもたらされた。COVIDから回復した5人の患者の腸にウイルス由来のタンパク質を発見した研究で、回復の6カ月後に見つかった例もあった。

#202212m のNature誌に報告されたNIHの研究によると、新型コロナウイルスは脳に何カ月も残留しうる。44人のCOVID死亡患者を剖検した結果、激しい炎症を起こしていたのは主に気道だったが、脳を含め全身にウイルスのRNAが検出された。

#202305ns コロナ後遺症 脳神経への深刻なダメージ

ある研究では、COVIDで神経症状を呈している患者の場合、特に中枢神経系で免疫系の活動が高まって炎症が生じていることを見出した。ただし脳の炎症は、おそらくこのウイルスが脳に直接感染した結果ではない。

COVIDの死亡患者を剖検した結果、「脳に大量のウイルスはないのに、免疫が活動した後が数多く見られた」。特に血管の周囲が激しい。これらの結果はマクロファージの活動が刺激されていたことを示唆していた。「マクロファージは狙いを正確に定めた攻撃はしない」。じゅうたん爆撃のような攻撃で、周辺は大きなダメージを受けることになる。

#202305ns コロナ後遺症 脳神経への深刻なダメージ

いわゆる「ロングCOVID」は、専門家の間では「新型コロナウイルス急性感染後後遺症（PASC）」と呼ばれている。ワクチン接種はリスクを下げるようだが、完全には防げない。

「ウイルス感染後症候群」は新しいものではない。HIVが神経系に及ぼすダメージの研究が、コロナ後遺症に対する取り組みの指針になっている。

コロナ後遺症の多くの症状が脳と神経系を通じて生じている可能性が認識されたことで、治療の道筋が見えてきた。

#202305ns 「話すAI描くAI ChatGPTの頭のなかをのぞき見る」

人間は自身の感覚や経験と関連付けて言葉を覚えている点が今のAIと異なる。今の言語モデルは純粋に言葉の情報しか学んでいない。「上下」や「前後」など初歩的な空間概念すら獲得できていない状態で推論をしようとしても無理があるのではないか。

#202305ns 「話すAI描くAI ChatGPTの頭のなかをのぞき見る」

大規模言語モデルは、特定の言葉に応答して不思議な振る舞いを見せることがある。ChatGPTの場合、問題文の最後に「Let's think step by step」という呪文を加えると、問題の正答率が見違えるように上がった。

この呪文は、他の様々なタイプの問題でも試したところ、数学の文章題から論理的な推論問題、演繹法や帰納法といった記号推論で幅広く有効だった。特に数学の文章題では、そのままでは17.7%しか正解できないテストにおいて78.7%という高スコアを出した。

大規模言語モデルの中には、直感的に答える思考法と、論理的な思考法の双方が獲得されているのではないか。「step by step」の言葉がスイッチのように働くことで、大規模言語モデルの挙動が切り替わるのかも。「多重人格」なのかもしれない。

#202305ns 「話すAI描くAI ChatGPTの頭のなかをのぞき見る」

ChatGPTの内部で何が起きているか調べる方法はあるが、言語モデルの規模が大きく複雑になりすぎて「ChatGPTに聞いた方が早い」。認知科学の分野では、実験で人間の様々な応答から脳の機能を探るのが一般的だが、AIに対しても同じ方法が有効なのだ。

大量の文章を学んで難しい質問に答えられても、大規模言語モデルは文法をきちと理解してはいない。日本語の語順と助詞を入れ替え、意味が変わったかどうかをAIに判定させる実験をすると、それがよくわかる。

言語モデルは個々の名詞や動詞といった語彙の意味を捉えるのは得意だが、助詞が持つ文法上の機能はわかっていないようだ。日本語の場合、助詞はノイズのように扱われてしまい、意味がない情報と判断されているのかも。

#202305ns 「話すAI描くAI ChatGPTの頭のなかをのぞき見る」

大規模言語モデルは「心の理論」も獲得できたとされる。どの程度相手の心を理解する力があるかを調べる心の理論の評価テストにおいて、GPT-3.5の正答率は93%だった。7歳の子供が同じテストを受けた場合の正答率は約7割とされるから、かなり高い。

大規模言語モデルの中で動くトランスフォーマーは、すごく大雑把に言えば、入力データを分類してそれに最も近い過去の学習データを取り出してくることで出力を決める。このときにChatGPTは参照する過去のデータを1個に絞るか複数取り混ぜるか決めている？

質問のされ方に応じて参照する過去のデータを1個に絞れば、学習した情報がそのまま出力される。一方、関連しそうなデータを複数とり混ぜることにすれば、過去の学習にはなかった独創的に見える出力内容になるのではないか。

#202305ns 「話すAI描くAI ChatGPTの頭のなかをのぞき見る」

GPTは単語の出現確率を学習するとき、ランダムな位置で文章の後半部を隠し、前半部を頼りに後半の一単語目を当てるというクイズを延々と繰り返す。ここでGPTは直前の単語だけでなく、離れた位置にある他の単語にも注目して、予測精度を高める。

つまり、長い文章であっても、そこに出てくる全ての単語の関係性を網羅的に学び取ろうとする。これを可能にしているのが、GPTのトランスフォーマーという学習アルゴリズムだ。これは文中の離れた位置にある単語同士の関係をつかむのを得意としている。

#202305ns 「話すAI描くAI ChatGPTの頭のなかをのぞき見る」

rinnaという会社は、マイクロソフトから #2020y に独立してできた会社だ。元々はマイクロソフトが #2015y に開発したSNS上で気さくな会話ができる「りんな」というAIチャットボットを開発していた。

rinnaはOpenAIが提供している大規模言語モデルGPTの仕組みを応用して日本語に特化した大規模言語モデルを新たに開発し、#202201m に公開した。