mathtod.online/@chijan/136067

渡辺澄夫著『ベイズ統計の理論と方法』の第8章8.4節のカルバック・ライブラ情報量の解説では、分布の予測精度と直接関係するSanovの定理について触れていれば読者の便になっていたと思います。

注意73で符号化の冗長分がカルバック・ライブラ情報量になるという説明がありますが、それだけだと、「どうして符号化の冗長分の話が予測分布の精度の話に関係するのだろう」と疑問に思う人が出て来ると思います。

実際にそう思った人は私の解説ノート

github.com/genkuroki/Sanov

を見て下さい。KL情報量と予測分布の制度の関係に関する疑問はSanovの定理が解決するはずです。

平均符号長の下限からの解離がKL情報量になることの解説もその最終節にあります。

Follow

私は危険な「数学帝国主義者」なので、数学を使っているすべての分野は数学だと思っています。あれもこれも全部数学。

· · Web · 0 · 5 · 5

社会的に構成された「分野の分類」にはあまり関わりたくない。ポストや予算の分配に利用されている分野の分類は数学の本質と完全に無関係。全部まとめて数学で問題無し。

Sign in to participate in the conversation
Mathtodon

A Mastodon instance named Mathtodon, where you can post toots with beautiful mathematical formulae in TeX/LaTeX style.