Follow

モデル選択は、渡辺澄夫さんの本を読んで汎化誤差とWAICの定義を抜き出して(証明を読まなければ容易)、コンピューターでWAICによるモデル選択がどのように失敗するかを確認すると雰囲気がすぐにわかります。

WBICの論文も見てWBICも実装して比較するとさらに良いです。

1次元正規分布モデルとその共役事前分布(正規ガンマ分布)の場合に、WAICやWBICのexact formulaeを書き下して、それらを行った事例が次の場所にあります。

nbviewer.jupyter.org/gist/genk

混合正規分布モデルをMCMCで数値的に解いて同じようなこともやっています。

nbviewer.jupyter.org/gist/genk

百聞は一見に如かずです。

渡辺澄夫さんも強調しているように、使うだけなら簡単です。

ただし、WAICなどがモデル選択にどのように失敗するかは知っておく必要があると思う。

Sign in to participate in the conversation
Mathtodon

A Mastodon instance named Mathtodon, where you can post toots with beautiful mathematical formulae in TeX/LaTeX style.