#statistics #baysian

計算量のことを考えなければ、階層モデルという用語は必要ありません。全部同じ単なる確率モデルです。

あと、階層モデルはベイズ統計特有の概念ではありません。最尤法でも計算量のことを考えなければ階層モデルの概念を考えることができる。

階層モデルとはパラメーター
$z$ 付きの確率モデル $p_1(x|z)$ とパラメーター $w$ 付きの確率モデル $p_2(z|w)$ がネストしているモデルのことです。

計算量のことを考えなければ、表に出て来ない変数 $z$ について積分して得られる確率モデル$$
p(x|w)=\int p_1(x|z)p_2(z|w)\,dz
$$と上の階層モデルは同じものだとみなせます。

実際には、その積分を数値積分で実装しなければいけないことになったりして、計算量的に色々大変な思いをしなければいけなくなります。

階層モデルにおいて、WAICの定義おける $p(x|w)$ はまさに上のように積分して得られたものになります。

WAICやLOOCVの計算におけるこの問題は頭が痛いので誰か解決してほしいです。

#statistics #baysian

AICの定義は、上の $p^*$ の定義を最尤法の予測分布$$
p^*(x)=p(x|w^*)
$$で置き換えて、$T_n$ は全く同様に定義し、$$
\operatorname{AIC}_n = 2nT_n + 2d
$$とすることによって得られます。ここで $d$ はモデルの有効なパラメーターの個数です。見た目のパラメーターの個数から実際には固定されているパラメーターの個数を引けば有効なパラメーターの個数が得られます。パラメーターが動ける次元のことです。

最尤法がうまく行くケースでは、AICとWAICはほぼ同じ値になります。

渡辺澄夫著『ベイズ統計の理論と方法』の読者で自分でコードを書ける人が最初にやるべきことはWAICの実装だと思います。

最尤法でAICを計算し、ベイズ推定でWAICを計算すれば、WAICの方が精度が高そうなことをやっていることをすぐに実感できます。

階層モデルのケースでのAICとWAICの計算が難しいことの理由も自分で実装すればすぐにわかります。

#statistics #baysian

サンプルの「誤差」にあたる部分が正規分布で生成されている場合には、適切なモデルを発見しさえすれば最尤法でうまくフィッティングできる場合が多いと思います。

しかし、サンプルが「外れ値」を含むと色々うまく行かなくなります。

外れ値が出る仕組みをモデルに組み込んで事後分布を計算することはMCMCを使えば易しいのですが、その代わりにWAICやLOOCVのような情報量基準の計算が大変になってしまい(MCMCの方法で避けることができていた数値積分に付き合わなければいけなくなる)、推定結果が改善されたかどうかの判断を付け難くなってしまう。

個人的にこれは結構問題で、大事な問題だと繰り返し主張しています。

#statistics #baysian

(2) ベイズ推定法の予測分布の定義は「事後分布による確率モデルの平均」です。

どうして、その予測分布が「データのないところの不確かさを表現しているように見える」のか？

それは「データがあるところでのフィッティングの精度」をあまり落とさないまま3次式を摂動させると、データがない部分で3次式の値が大きく動くからだと思いました。

事後分布を表現するMCMCのchainには、3次式の係数と上下への分散の組の列が格納されており、フィッティングが相対的にうまく行っている組がたくさん含まれ、うまく行っていない組は相対的に少ない。

データがない部分でフィッティングする義理はないので、そういう部分で3次式は暴れることになります。(chainに含まれる各パラメーターごとに3次式をプロットすればこのことは確認できるはず。)

大きく暴れている部分では確率密度は非常に小さくなり、プロットすると非常に薄い色で表示されることになります。

1次式による直線によるフィッティングだとかなり遠くまで離れないと薄くなりません。