自由エネルギー原理に入門!

こちらのスライドをまとめる。

  • 脳が変分ベイズ推定をしている。
  • 自己組織化された系で、環境内で平衡状態であり続けるには、システムの自由エネルギーを最小化する必要あり。
  • 適応的なシステムが無秩序に向かう自然な傾向に抗して持続的に存在するために必要な条件。
  • ヘルムホルツ的視覚観では、Agentは不可知な世界を、感覚入力を介して推論を行う。
  • 外部世界の事前分布と生成モデル(尤度)を持っていると、事後分布を求めることが、ベイズの公式によって可能。 p(x|s) = \frac{p(s|x)p(x)}{p(s)}となる。
  • 事後分布を計算する代わりに、推測の分布を変化させ、自由エネルギーを最小化する。 F(q, s) = \Sigma_x \{q(x) log \frac{q(x)}{p(x,s)} \}
  • 自由エネルギーの式を変換して、相対エントロピーと定数部分に分離出来る。相対エントロピーは、推測と事後分布の擬距離で、KLダイバージェンスを使う。 F(q) = D_{KL}(q(x)||p(x|s))- logp(s)
  • 実際の脳内の作業は、Fを下げるように、xの推測値を変化させ、最急降下法をする。これはNNによって実現可能。
  • 自由エネルギー原理は適応的システムについての理論。
  • 変分原理は、光の屈折のように、物事の変化の方向を決める。

続いて、こちらのスライドをまとめる。

  • 自由エネルギー原理は、脳における知覚と行動を統一的に説明する。
  • 例として、視覚シーンを眼で探索する、という題材がある。
  • 適応的なシステムの持続的に存在するために必要な条件。
  • FEPは脳についての理論を統一的に理解する為の原理。
  • 情報理論的自由エネルギー。生成モデルと現在の推測との差を考える。 bは脳活動。 F(s, b) = D_{KL}(q(x|b)||p(x, s))
  • 推測した原因と真の原因の分布が一致する時、Fは最小化される。
  • ここまでは先ほどのスライドと何も変わらないが、ここから、行動について、触れられていく。
  • 今までは脳活動を変えることで、推測をよくして、認識能力を上げていた。
  • 一方で、行動することで、感覚を変えるということは考えていなかった。今回はそっち。
  • 脳活動はそのままで、感覚入力を変える。qをより選択的に生み出す感覚入力sをサンプルしたとき、Accuracyが最大化して、Fが最小になる。
  • これの気持ちは、
    • 脳活動ではqだと思っている。
    • 行動をすると、感覚入力sが入るけれど、そのsによって、qでの予測と近いものだと、嬉しい。
    • だから、Fが最小というのは、Accuracyが最大化、ということだ。
  • ちなみに、Accuracyとは、 \Sigma_x \{q(x|b) log(p(s|x))\}のことだ。
  • 行動するのは、周りの世界を知りたいから。(行動を介して、自分の予測を良くしたい!)
  • 視覚の話が例に。
  • 外界の原因xと、感覚入力s。仮定として、Agentがこれまでの経験から生成モデル(感覚入力sと原因xの同時確率)を持っている。
  • Fを最小化するために、2つの変数を交互に更新していく。
    • 認識:脳活動を変えることで、推測した原因を真の原因に近づける
    • 行動:感覚入力を変えることで、推測した原因をより選択的に生み出す感覚入力をサンプルする。
  • 認識はPerceptual Inference、行動はActive Inferenceという。
  • FEPは反実仮想。まだ実現していない行動によって、原因を期待する。

自由エネルギー原理が、外界を知るためにするもの、という位置づけは分かった。

Perceptual InferenceとActive Inferenceの2つを交互にすることで、より良い原因の推測をしよう、という試みは理解出来た。後は、これを応用することを考えたい。

バイバイ!