最適化計算の勉強をするにあたって,そもそも最小二乗法の下記の評価式
がどこから来るのかをまとめておきます.参考文献は金谷先生の教科書・PDFです.
2.尤度と最尤推定法
理論的には y = fθ(x) という数式にしたがう物理現象があるとします.ここで,関係式のパラメータセット θ が不明であり,実験を通してこれらのパラメータを取得しなければならなかったとします.この時,実験データに誤差が全くなければパラメータ個数分データを取得して方程式を解けばパラメータは求まります.しかし実際には実験データは誤差を含むので,複数のデータを取得して評価する必要があります.ここでは,複数データを用いて一番それっぽいパラメータを決定する方法として最尤推定法を導入します.
2.1 誤差のモデル化
パラメータは数式を解いて求まるので,”誤差” をモデル化して数式に乗せてあげないといけません.そこで,下記のようにモデル化します.
ここで,誤差が期待値0,分散 σ2のガウス分布に従うとすると,誤差が ε になる確率は次のようになります.
実験データ一つ一つに対して理論式からのズレ(誤差)が定義できて,またそのズレ(誤差)が起こる確率は次のようになります.
2.3 最尤推定法
N個の実験データを取得できているとすると,この”N個の実験データを発生させる確率が最も高いパラメータ”を求めるのが一番自然かと思います.この考え方を”最尤推定法”といいます.それぞれの誤差が生じる確率は数式としてわかっていますので,これを掛け算で求めていけば,N個の実験データが生じる確率が下記のように求まり,これを”尤度”といいます.
ということで,誤差が正規分布に従っていると仮定する場合,上式の
の部分を最小にしてあげれば確率が最大になることがわかります.着目点として,上記の評価式では分母の σ が定数であるため ∑ の外に出せます.このために,直線当てはめの場合はパラメータの正規化の方法によらず同一解が求まります.
3.最尤推定法を用いた最小二乗法(直線当てはめ)の導出
ここでは,2の最尤推定法の考え方を用いて直線当てはめの評価式を導出してみます.まず,理論式は下記のようになります.
ここで,数式 Ax + By + C の誤差は y と x 両方によって決まり,y と x のそれぞれの誤差を考慮すると,期待値0,分散 (A2 + B2) σ2の誤差が乗ることになります.つまり,最尤推定法から求まった式に代入すると下記のようになります.
ここで,直線当てはめに関しては最小化する評価式が上記のようになることがわかりました.直線当てはめの場合は,A2 + B2 + C2 = 1としても,A2 + B2 = 10 としても,A, B, C の定数倍に関しては不変であるので結果が変わらないことがわかります.つまり,下記二つの評価式のどちらを用いても,求まる結果は同じになります.
上記の説明で明らかになった通り,最小二乗法ではそれぞれの変数に対して誤差モデルに独立な正規分布を仮定し,最尤推定法を用いて取得データが起こる確率が最大になるようにパラメータを求めていることがわかります.
参考文献
参考文献1
- 作者: 金谷健一,菅谷保之,金澤靖
- 出版社/メーカー: 森北出版
- 発売日: 2016/10/27
- メディア: 単行本(ソフトカバー)
- この商品を含むブログ (1件) を見る
参考文献2
画像の三次元理解のための最適化計算[Ⅰ]