ぼやき。
WAICが取り沙汰されてWBICがあまり語られないのはなぜなのでしょう。
最近WAICの論文は「2017年の高被引用論文(Web of Science, 同分野で1%以内)」(http://watanabe-www.math.dis.titech.ac.jp/users/swatanab/2017t2r2wata.txt)に選ばれたらしい。
WBICは自由エネルギーを近似するには微小項が大きいのが理由なのかしら。
なおWBIC以外の特異モデルを含むBayes自由エネルギーの近似手法としてsBICというものがDrton先生らにより考案されています。
sAICというのもいずれ生まれるかもしれませんね。
sBICは実対数閾値の理論値という、本来真の分布がわからなければ計算できないもの(従って具体的なモデルの特異点解消が得られたときその結果を直接実務に使うには難しく、汎化誤差の見積もりや人口データを用いて数値実験を行い、計算プログラムの正しさを確認するという応用であった)を使って、モデル選択をする手法・情報量規準です。singular BIC。
sBICの弱点としては最尤推定量を使うのでこれの計算が難しい(というか存在しない)混合正規分布とかには局所最尤推定量を用いるしかないということかしら。あとは実現可能性の仮定。
逆に事後分布の積分が不要なのはWAICやWBIC(特に近似対象が同じWBIC)に対するアドバンテージでしょう。
BICみたく一発で計算できるわけではないのですが、事後分布による積分はまず事後分布から上手くパラメータをサンプリングする必要がありますので。
sBICの大きな貢献の一つは実対数閾値を解明するという研究の有用性を著しく引き上げたことだと思います。これで実世界との戦いにかなり直接的に用いることが出来る。
実対数閾値が出てくる自由エネルギーの漸近挙動が背景にある一方で、BIC同様に最尤推定量を経験誤差函数(実現可能なときの経験エントロピー)に代入している。そういう意味では頻度論者とベイジアンの架橋的存在なのかもしれない(そろそろ哲学的で非mathematicalな言い方になってきたゾー)