物理攻略Wikiにインスパイアされたタナカは,今こういうのを試作中なんですけど,需要ありますかね.

いや需要無くても作りますけど$\omega\omega\omega$ mathtod.online/media/BnNmcHeFX

あれ・・そもそもどうして2つの分布の近さをカルバック・ライブラ使って測るんだ。。パラメタライズされたモデルであれば、そのパラメータのベクトルについてユークリッド距離で測ることもできそうだけど。。

どうして情報幾何学で多様体が必要になるのかがよく分からない・・・ユークリッド空間じゃだめなんですか・・

あけましておめでとうございます!去年は数学とどんにたくさんお世話になりました。今年もよろしくお願いします。

最適な確率分布が実質的にユニークでない場合って、世の中結構有り得そうじゃないかと思ってたけど、現実のデータに対しての学習とかだと真の分布に対して最適値が全く同じになる分布が複数あるという状況は確かに考えにくい気がしてきた。

twin.sci-hub.cc/4aa75f6b9464ff
Investigation of the widely applicable Bayesian information criterion
N. Friel · J. P. McKeone · C. J. Oates · A. N. Pettitt (2017)

WBICについて理解するためにはとてもありがたい新しい文献。

WBICの精度を知りたければ、まず自由エネルギーが手計算で正確に求まる場合で実験すればいいんですね。

Show thread

変数選択というとlasso(事前分布にラプラス分布)という感じに思っていたけど、Spike-and-slab事前分布というのもあるんですねぇ。ただ、解析的には解けないらしい。

Spike-and-slab priors suhasmathur.com/the-bayesian-o

ベイズ情報量規準及びその発展 ~概説編~:
goo.gl/4rrFES
前のトゥートでurlがうまく貼れてなかったぽいので、再度貼ります。

実際の問題では、正則条件を満たすような場合にWBICよりBICのほうがうまくいっているケースも見られるという点も興味深い。

WBICの改良版のiWBICというものがあり、それを企業の方が提案しているというのが驚きました。まだ論文は出てないっぽい(?)

ベイズ情報量規準及びその発展 ~概説編~
blog.albert2005.co.jp/2016/04/

MCMCはHMCの時点で、ハミルトン方程式とか出てきて物理感マックスだったけど、ついに相対論まで使ってるのか(?)。。
Relativistic Monte Carlo youtu.be/G2ywKbViDcE

渡辺澄夫さんの教科書で使っている方法は本質的に「所謂ラプラスの方法」です。特異モデルのケースでは「所謂ラプラスの方法の一般化」を使っています。

だから、渡辺澄夫さんの教科書を読むためには「ラプラスの方法」に関する数学的教養が必須に近いと思う。

「ラプラスの方法」のような言い方をされると「権威」を感じてしまって、何か特別なことだと勘違いしそうですが、考え方は超簡単で、おそらく誰でも自然に思い付く可能性が高い。

例えば
$$
F=-\frac{1}{\lambda}\log(e^{-\lambda f_1}+\cdots+e^{-\lambda f_N})
$$は $\lambda\to\infty$ のとき、どのように振る舞うでしょうか? $f_i$ 達の最小値を $m$ と書くと
$$
F=m-\frac{1}{\lambda}\log(e^{-\lambda (f_1-m)}+\cdots+e^{-\lambda (f_N-m)}), \\
f_i - m \geqq 0
$$なので $\lambda\to\infty$ のとき $F\to m$ です。続く

逆温度$\beta \rightarrow \infty$のときの予測分布が、最尤推定に相当するというの、イメージはわかるけどいざ数式で証明しようとすると、なかなかうまくいかない。。。

情報量規準を提案したと聞くとすごく理論よりの研究者という印象だったけど、ばりばりの現実問題への需要から提案したもので、赤池さん自身も目的意識の重要性を強調していて、興味深いですね。

kyoritsu-pub.co.jp/bookdetail/

この本の一章を読んでたけど、伝統的な統計学が強調した主観性の排除が、柔軟な発想によるモデルの構築をかえって阻害してきたことと、情報量規準の導入によりモデル構成を自由に行えるようになったことが書かれており、主義主義論争が良くなかったという旨が赤池さんにより完結にまとめられています。

講演で「構造を持つ確率モデルのパラメータ空間」出てきて、感動した。

渡辺澄夫先生から「ベイズ統計の理論と方法」にサインいただきました。 mathtod.online/media/7HOkBHo9a

mathtod.online/@tanutarou/8112

私は所謂「変分ベイズ」(渡辺澄夫著『ベイズ統計の理論と方法』では物理っぽく「平均場近似」と呼んでいる)については須山敦志さんの解説が結構好きです。

理由:既存のライブラリの使い方の解説よりも、数学の解説を優先していること。そして、 を使っていること(笑)。

以下のリンク先からさらにリンクをたどれば読めます。

machine-learning.hatenablog.co

machine-learning.hatenablog.co

machine-learning.hatenablog.co

最近出版された単行本の方は未見

amazon.co.jp/dp/4061538322

Show older
Mathtodon

A Mastodon instance named Mathtodon, where you can post toots with beautiful mathematical formulae in TeX/LaTeX style.