情報幾何学に（またもや）入門する

情報幾何にこのブログでなんども入門しているが、今回は完結させる。

役に立ったサイトは、これ、それ、あれの３つである。

今から書くことは、厳密さよりも考え方を重視したものだ。表現は筆者用のものである。

多様体という、高次元の曲がった空間で局所座標系を持つものがある。
接ベクトル空間といって、多様体のある点での接超平面がある。接ベクトルは微分作用素からなり、（接線は微分と繋がるイメージ）、接ベクトルが接ベクトル空間の基底。
多様体の各点ごとに、接ベクトルを選んだものを接ベクトル場という。（多様体にベクトルがびっしりと張り付いている）
リーマン計量といって、各点ごとに内積が張り付いている。一般の内積は、正値2次形式で、正値対象行列である。
多様体上の微分規則をアファイン接続、共変微分という。アファイン接続と相対論は絡んでくる（重力は空間の曲がり方だとして、曲がった空間の話で出てくる。こちらの記事は関連する）　Christoffel記号が出てくる。曲線cが測地線であるとは、 $\nabla_{\dot{c}}\dot{c} = 0$ が成立することである。速度が曲線に沿って変化しない、という意味みたいだ（最初の $\dot{c}$ が接ベクトルで、後の $\dot{c}$ が微分したもの、つまり速度に値するので、速度は一定です、という意味合い）
ここまで微分幾何学。ここから、それを統計モデルと組み合わせる。
統計モデルとは、パラメータが各点に張り付いていて、確率密度関数が各点に対応する、多様体と見なせる。
統計モデルが多様体となるためには、1）パラメータに関して確率分布のSupportが変化せず、2）パラメータ空間が実数^nの開集合で、3）統計モデルが識別可能で、4）ξ→p(x;ξ)はC^4級で、5)微分の積分の順序交換可能、がある。
リーマン計量の仲間として、Fisher計量がある。 $g_{ij}^F(\xi) = \mathbb{E}_p[\partial_i l_\xi \partial_j l_\xi]$ 　 l（エル）は $\log{p(x; \xi)}$ 。統計モデルの各点にFisher計量が張り付いている。Fisher計量に注目するのは、クラメール・ラオの不等式で、N個のサンプルからのξの推定量の分散の下限について、 $Var[ \bar{\xi}] \geq \frac{1}{N} G^{-1}(\xi)$ が成り立ち、散らばり方を表しているから。
Fisher計量は有界で、C^4級、正定値である。
統計モデルのアファイン接続として、α-接続（曲がった空間の微分）がある。 $\Gamma_{ij,k}^{(\alpha)}(\xi) = \mathbb{E}[(\partial_i \partial_j l_\xi + \frac{1-\alpha}{2} \partial_i l_\xi \partial_j l_\xi )(\partial_k l_\xi\$ 　ここで、αの値によって、性質が変わる。０なら、Levi-Civita接続といい、通常のアファイン接続となり、一般相対論にも絡む。しかし、±1のときは、それぞれ指数型接続、混合型接続となる。
双対接続や、不変統計多様体。
統計モデルが指数型分布族であるとは $S_e = \{ p(x;\theta) | p(x;\theta) = exp[C(x) + \Sigma_{i=1}^n \theta^i F_i(x) - \psi(\theta)]\}$ 　正規分布や離散標本空間、ベルヌーイ分布も扱える。
曲率テンソル場と捩率テンソル場。 $R(X, Y)Z = \nabla_X \nabla_Y Z - \nabla_Y \nabla_X Z - \nabla_{[X,Y]} Z$ 、 $\nabla_X Y - \nabla_Y X - [X, Y]$ 　とする。平坦であるとは、曲率もなく、捩れもない、ということ $R = T = 0$ が成立する。
$\nabla^{*}$ が $\nabla$ のgに対する双対接続であるとは、 $X_g(Y, Z) = g(\nabla_X Y , Z) + g(Y, \nabla_X^{*} Z)$ である。∇が平坦なら、双対接続の他方も平坦となる。 $(M, g, \nabla, \nabla^{*})$ が双対平坦空間であるとは、∇が平坦なアファイン接続であることだ。
∇が平坦なアファイン接続であるなら、M上の局所座標系で、接続係数 $\Gamma_{ij}^{\nabla k} = 0$ を満たす $\{\theta^i\}$ が存在する。この座標系をアファイン座標系という。
双対座標系 $\{ \eta_i \}$ で、 $g(\frac{\partial}{\partial \theta^i}, \frac{\partial}{\partial \eta_j}) = \delta_i^j$ を見たす双対なアファイン座標系が存在。（∇アファイン座標系と、∇*アファイン座標系で、一対一で対応している感じ！）
双対アファイン座標系を導入すると、Legendre変換が登場する。 $\frac{\partial \psi}{\partial \theta^i} = \eta_i, \quad \frac{\partial \phi}{\partial \eta_i} = \theta^i, \quad \psi(p)+\phi(p) - \Sigma_{i=1}^m \theta^i(p)\eta_i(p) =0$
また、リーマン計量についても、 $g_{ij} = \frac{\partial^2 \psi}{\partial \theta^i \theta^j}, \quad g^{ij} = \frac{\partial^2 \phi}{\partial \eta_i \eta_j}$ 　これから、Hesse多様体（双対な多様体を合わせていう）や、統計多様体（それの発展版？今はイメージわかない）がある。
双対平坦空間において、 $D(p,q) = \psi(p)+\phi(q) - \Sigma_{i=1}^n \theta^i(p)\eta_i(q)$ を正準ダイバージェンスという。これはアファイン座標系の取り方に依存しない。pとqを入れ替えると、∇*ダイバージェンスとなる。ここで、拡張Pythagorasの定理、双対平坦空間で、∇測地線と∇*測地線がqにおいて計量gに関し直交するなら、 $D(p,r ) = D(p,q) + D(q,r)$ これから、射影定理なるものが出来る（イメージは垂線の長さ（に対応する関数）が停留点となる場所で、計量gに関して直交する、というもの。
α=1のとき、ダイバージェンスは、Kullback-Leiblerダイバージェンス $D_{KL} (p(x;\theta) , r(x;\theta^{'})) = \int_\Omega p(x;\theta) log\frac{p(x;\theta)}{r(x;\theta^{'})}dx$ となる、KLダイバージェンスは不変統計多様体 $S, \nabla^{(m)}, g^F)$ を誘導する。
最尤推定量の幾何学として、尤度最大=KLダイバージェンスが最小である、ということ。それと指数型分布族が扱いやすい（なぜならe平坦な部分空間とm射影、m平坦な部分空間にはe射影を組み合わせて（これらは一意的）推定が出来るから、 $\eta_i = \mathbb{E}_\theta [F_i(x)]$ を利用できる）
後は、機械学習などでの事例なので、わかったつもりになっておく。

バイバイ！