최우추정(Maximum Likelihood) 요약정리

 

서론

☞ 미지의 모수 $\Theta $에 대한 정보를 유도하기 위해 분포로부터 확률분포를 취한다.

즉, 실험을 각각 독립적으로 $n$번 반복하여 표본 $X_{1},\: \cdots , X_{n}$을 관측하고, 관측치 $x_{1},\: \cdots , x_{n}$을 이용하여 $\Theta $의 값을 추정해 내려고 한다.

☞ $\Theta $를 추정하기 위해 쓰인 표본 $X_{1},\: \cdots , X_{n}$의 함수, 즉 통계량 $u(X_{1},\: \cdots , X_{n})$를 $\Theta$의 추정량(estimator)이라 한다.

 

☞ 이들 통계량에 각각 해당되는 관측치 $u(x_{1},\: \cdots , x_{n})$를 추정치(estimate)라 한다.

최우 추정량

☞ $X_{1},\: \cdots , X_{n}$이 미지의 모수 $\Theta_{1},\: \cdots ,\, \Theta _{m}$에 의존하는 pmf(확률질량함수) or pdf(확률밀도함수) $f(x;\, \Theta_{1},\: \cdots ,\, \Theta _{m})$를 가진 분포에서 추출된 확률표본이라 하자.
($(\Theta_{1},\: \cdots ,\, \Theta _{m})$은 주어진 모수공간 $\Omega $에서 제한되어 있다고 가정)

☞ 이 때, $X_{1},\: \cdots , X_{n}$의 결합 pmf or pdf인

$L(\Theta_{1},\: \cdots ,\, \Theta _{m})\, =\, f(x_{1};\, \Theta_{1},\: \cdots ,\, \Theta _{m})\times \cdots \times f(x_{n};\, \Theta_{1},\: \cdots ,\, \Theta _{m})$

을 '우도함수(Likelihood Function)'이라 한다.
(즉, $X_{1},\: \cdots , X_{n}$이 $x_{1},\: \cdots , x_{n}$일 확률을 뜻한다.)

 

☞ $\Omega $에서 우도함수를 최대화시키는 쌍

$ \hat{\Theta}_{1}\: =\: u_{1}(X_{1},\: \cdots , X_{n})$
   $\vdots$
$ \hat{\Theta}_{1}\: =\: u_{m}(X_{1},\: \cdots , X_{n})$

을 $\Theta_{1},\: \cdots ,\, \Theta _{m}$의 최우추정량(Maximum Likelihood Estimator)라 한다.
(즉, $\Theta$의 점추정량을 찾기 위함임.)

 

예제 1 (이항분포에서의 최우추정)

 

예제 2 (정규분포에서의 최우추정)

 

※ $E[u_{1}(X_{1},\: \cdots , X_{n})]\, =\, \Theta $이면 통계량 $ u_{1}(X_{1},\: \cdots , X_{n}) $ 는 $$ \Theta $의 '불편추정량'이라 한다.

 ☞ 그렇지 않다면 '편의(bias)'를 가졌다고 한다.

 

예제 3 (최우추정량이 항상 불편추정량은 아닌 Case)