ポントリャーギンの最小原理とベルマン方程式の等価性

$J[u ] = \int_{t_0}^{t_f} g(x(t), u(t))dt$

$\dot{x} = f(x,u)$

$\dot{x} = \frac{\partial H}{\partial p}$

$\dot{p} = - \frac{\partial H}{\partial x}$

$0 = \frac{\partial H}{\partial u}$

これがポントリャーギンの最小原理

一方で、ベルマン方程式は、

$S(x,t) = \text{min}_{u(\tau )} \int_{t_0}^{t_1} g(x (\tau), u(\tau ))d \tau$

$- \frac{\partial S}{\partial t} = \text{min}_u \{ g(x,u) + (\frac{\partial S}{\partial x})^T f(x,u) \}$

確率的な力学の場合に拡張する。時間毎の差分がガウス分布となる、ウィーナー過程を考える。

$S(x,t) = \text{min}_{u(\tau )} E_{x^{'} | x,u} [ g(x, u) dt + S(x^{'}, t + dt) ]$

$- \frac{\partial S}{\partial t} = \text{min}_u \{ g(x,u) + (\frac{\partial S}{\partial x})^T f(x,u) + \frac{D}{2} tr(\frac{\partial^2 S}{\partial x^2}) \}$