最適化計算0 最尤推定と最小二乗法

最適化計算の勉強をするにあたって,そもそも最小二乗法の下記の評価式
f:id:rkoichi2001:20180331123431j:plain
がどこから来るのかをまとめておきます.参考文献は金谷先生の教科書・PDFです.

1.正規分布と最小二乗法

誤差モデルがガウス分布に従う場合,期待値0,分散 σ2 の誤差 ε の確率密度は下記のようになります.
f:id:rkoichi2001:20180331124254j:plain

実際の例として,,,

長さ15cmの物差しを作る生産工程があったとして,この工程の製造誤差がガウス分布に従っていたとします.この時,1000本の物差しを後から検品するとほぼ15cm(ε = 0)の物差しがほとんどになるはずですが,中には14.9cm(ε = -0.1)だったり15.1cm(ε = 0.1)の物差しが出てくると思います.この時,誤差の分布が上記の図のようになります.つまり,ほぼ 15cm の物差しがほとんどで,誤差が大きいものはほとんどないという形になります.

2.尤度と最尤推定

理論的には y = fθ(x) という数式にしたがう物理現象があるとします.ここで,関係式のパラメータセット θ が不明であり,実験を通してこれらのパラメータを取得しなければならなかったとします.この時,実験データに誤差が全くなければパラメータ個数分データを取得して方程式を解けばパラメータは求まります.しかし実際には実験データは誤差を含むので,複数のデータを取得して評価する必要があります.ここでは,複数データを用いて一番それっぽいパラメータを決定する方法として最尤推定法を導入します.

2.1 誤差のモデル化

パラメータは数式を解いて求まるので,”誤差” をモデル化して数式に乗せてあげないといけません.そこで,下記のようにモデル化します.
f:id:rkoichi2001:20180331140324j:plain

ここで,誤差が期待値0,分散 σ2ガウス分布に従うとすると,誤差が ε になる確率は次のようになります.
f:id:rkoichi2001:20180331131104j:plain

実験データ一つ一つに対して理論式からのズレ(誤差)が定義できて,またそのズレ(誤差)が起こる確率は次のようになります.
f:id:rkoichi2001:20180331140453j:plain

2.3 最尤推定

N個の実験データを取得できているとすると,この”N個の実験データを発生させる確率が最も高いパラメータ”を求めるのが一番自然かと思います.この考え方を最尤推定法”といいます.それぞれの誤差が生じる確率は数式としてわかっていますので,これを掛け算で求めていけば,N個の実験データが生じる確率が下記のように求まり,これを”尤度”といいます.
f:id:rkoichi2001:20180331140656j:plain

ということで,誤差が正規分布に従っていると仮定する場合,上式の
f:id:rkoichi2001:20180331133042j:plain
の部分を最小にしてあげれば確率が最大になることがわかります.着目点として,上記の評価式では分母の σ が定数であるため ∑ の外に出せます.このために,直線当てはめの場合はパラメータの正規化の方法によらず同一解が求まります.

3.最尤推定法を用いた最小二乗法(直線当てはめ)の導出

ここでは,2の最尤推定法の考え方を用いて直線当てはめの評価式を導出してみます.まず,理論式は下記のようになります.
f:id:rkoichi2001:20180331142121j:plain

ここで,数式 Ax + By + C の誤差は y と x 両方によって決まり,y と x のそれぞれの誤差を考慮すると,期待値0,分散 (A2 + B2) σ2の誤差が乗ることになります.つまり,最尤推定法から求まった式に代入すると下記のようになります.
f:id:rkoichi2001:20180331143635j:plain

ここで,直線当てはめに関しては最小化する評価式が上記のようになることがわかりました.直線当てはめの場合は,A2 + B2 + C2 = 1としても,A2 + B2 = 10 としても,A, B, C の定数倍に関しては不変であるので結果が変わらないことがわかります.つまり,下記二つの評価式のどちらを用いても,求まる結果は同じになります.
f:id:rkoichi2001:20180331145051j:plain

上記の説明で明らかになった通り,最小二乗法ではそれぞれの変数に対して誤差モデルに独立な正規分布を仮定し,最尤推定法を用いて取得データが起こる確率が最大になるようにパラメータを求めていることがわかります.

参考文献

参考文献1

3次元コンピュータビジョン計算ハンドブック

3次元コンピュータビジョン計算ハンドブック

参考文献2
画像の三次元理解のための最適化計算[Ⅰ]