머신러닝 공부 요약 정리 2편 - 다항회귀모델 경사하강법, 정규방정식 | Machine Learning(Coursera, Andrew Ng)

○ 다항 선형 회귀모델(Linear Regression with multiple variables)

$h_{\Theta }(x) = \Theta _{0}+\Theta _{1}x+\Theta _{2}x_{2}+\cdot \cdot \cdot +\Theta _{n}x_{n}$

을 행렬로 표시하면 다음과 같다.

○ 다항변수에서의 경사하강법(Gradient decent for multiple variables)

 

○ 정규방정식(Normal equation)

$\Theta = (X^{'}X)^{-1}X^{'}y$

 → 모든 $j$에 대하여 $ \frac{\partial}{\partial\Theta _{_{j}}}J(\Theta )=\cdots =0$을 구하는 케이스

 → 증명

○ 경사하강법(Gradient Descent) VS 정규방정식(Normal Equation)

경사하강법	정규방정식
$\alpha $(학습률) 선택이 필요하다.	$\alpha $(학습률) 선택이 필요없다.
많은 반복이 필요하다.	반복할 필요 X
	$(XX^{'} )$에 대한 역행렬 계산이 필요하다.
$n$이 클 때 잘 작동한다. (일반적으로 $n> 10000$일 때.)	$n$이 크면 느려진다. (역행렬 계산 때문)