たぬたろう @tanutarou@mathtod.online

すごい期待してる

あれ・・そもそもどうして２つの分布の近さをカルバック・ライブラ使って測るんだ。。パラメタライズされたモデルであれば、そのパラメータのベクトルについてユークリッド距離で測ることもできそうだけど。。

どうして情報幾何学で多様体が必要になるのかがよく分からない・・・ユークリッド空間じゃだめなんですか・・

あけましておめでとうございます！去年は数学とどんにたくさんお世話になりました。今年もよろしくお願いします。

最適な確率分布が実質的にユニークでない場合って、世の中結構有り得そうじゃないかと思ってたけど、現実のデータに対しての学習とかだと真の分布に対して最適値が全く同じになる分布が複数あるという状況は確かに考えにくい気がしてきた。

とりあえず離散分布の共役事前分布を用いたベイズ学習をやってみました。
ベルヌーイ分布：
https://gist.github.com/tanutarou/ce54e60ffe35ed96de21ec394f30bffb
カテゴリカル分布：
https://gist.github.com/tanutarou/0a8c2b135680d44dda24d36c1af1b534
ポアソン分布：
https://gist.github.com/tanutarou/4f4a37ed9aa97cd441b4fd62be452fdd

参考文献：http://www.kspub.co.jp/book/detail/1538320.html

変数選択というとlasso(事前分布にラプラス分布)という感じに思っていたけど、Spike-and-slab事前分布というのもあるんですねぇ。ただ、解析的には解けないらしい。

Spike-and-slab priors http://www.suhasmathur.com/the-bayesian-observer/2017/1/7/spike-and-slab-priors

sBICの論文のdiscussionでi-WBICの式が載っているように見えます。
http://onlinelibrary.wiley.com/doi/10.1111/rssb.12187/full

ベイズ情報量規準及びその発展 ～概説編～:
https://goo.gl/4rrFES
前のトゥートでurlがうまく貼れてなかったぽいので、再度貼ります。

実際の問題では、正則条件を満たすような場合にWBICよりBICのほうがうまくいっているケースも見られるという点も興味深い。

WBICの改良版のiWBICというものがあり、それを企業の方が提案しているというのが驚きました。まだ論文は出てないっぽい(?)

ベイズ情報量規準及びその発展 ～概説編～
https://blog.albert2005.co.jp/2016/04/19/%E3%83%99%E3%82%A4%E3%82%BA%E6%83%85%E5%A0%B1%E9%87%8F%E8%A6%8F%E6%BA%96%E5%8F%8A%E3%81%B3%E3%81%9D%E3%81%AE%E7%99%BA%E5%B1%95-%EF%BD%9E%E6%A6%82%E8%AA%AC%E7%B7%A8%EF%BD%9E/

MCMCはHMCの時点で、ハミルトン方程式とか出てきて物理感マックスだったけど、ついに相対論まで使ってるのか(?)。。
Relativistic Monte Carlo https://youtu.be/G2ywKbViDcE

逆温度$\beta \rightarrow \infty$のときの予測分布が、最尤推定に相当するというの、イメージはわかるけどいざ数式で証明しようとすると、なかなかうまくいかない。。。

情報量規準を提案したと聞くとすごく理論よりの研究者という印象だったけど、ばりばりの現実問題への需要から提案したもので、赤池さん自身も目的意識の重要性を強調していて、興味深いですね。

http://www.kyoritsu-pub.co.jp/bookdetail/9784320121904

この本の一章を読んでたけど、伝統的な統計学が強調した主観性の排除が、柔軟な発想によるモデルの構築をかえって阻害してきたことと、情報量規準の導入によりモデル構成を自由に行えるようになったことが書かれており、主義主義論争が良くなかったという旨が赤池さんにより完結にまとめられています。

講演で「構造を持つ確率モデルのパラメータ空間」出てきて、感動した。

渡辺澄夫先生から「ベイズ統計の理論と方法」にサインいただきました。 https://mathtod.online/media/7HOkBHo9aiGUuQ6RLRg