目的関数の最小化によって、パラメータを推定できるのか？
勾配法としては、最急降下法が挙げられる。
適当な初期値から始めて、勾配を計算して、探索方向を決める。
次に進む長さを直線探索によって決定する。ここは、二分探索などで凸性を利用してする場合もある。
これを繰り返す。
別の方法として、ベイズ推定によってパラメータを推定する方法もある。
メトロポリス-ヘイスティング法を使う。
初期値を決めて、
提案分布から新しいパラメータを発生させる。例えば一様分布。
そして、データと比較した尤度を計算して、それが現在の点より大きいなら、更新する。
そうでなくても、一様分布から発生させた乱数よりも、事後分布比が高ければ更新する。
これを繰り返し、最適解を得る。
最急降下法は局所最適解に陥りやすいが、M-H法はその点を克服していると言える。
