머신러닝 공부 요약 정리 1편 - 비용함수, 학습률 | Machine Learning(Coursera, Andrew Ng)

○ 머신러닝 알고리즘의 종류

 - Supervised Learning(지도학습) : 회귀(Regression), 분류(Classification)

 - Unsupervised Learning(비지도학습)

 - 기타 : Reinforcement learning, recommender systems

 

○ 비용함수(Cost Function)

 - 가설 : $h_{\Theta }(x) = \Theta _{0}+\Theta _{1}x$

 - 모수 : $\Theta _{0}, \Theta _{1}$

 - 비용함수 : $J(\Theta_{0}, \Theta _{1}) = \frac{1}{2m} \sum_{i=1}^{m}(h_{\Theta }(x^{i})-y^{(i))})^2$

 - 목표 : $minimize_{\Theta _{0}, \Theta _{1}} J(\Theta _{0}, \Theta _{1})$

 

○ 경사하강법(Gradient descent) - 독립변수가 1개인 경우

 - 임의의 $\Theta _{0}, \Theta _{1}$에서 시작하여 모수의 값을 변화시키며, 비용함수가 최솟값을 보일 때의 $\Theta _{0}, \Theta _{1}$ 의 값을 산출

 

$\Theta _{j} :=  \Theta _{j} - \alpha \frac{\partial }{\partial \Theta _{j}}J(\Theta _{0}, \Theta _{1})$         $(for \,\,\, j=0 \,\,\, and \,\,\, j=1)$ 에서

$\Theta_{0} := \Theta_{0}-\alpha \frac{1}{m} \sum_{i=1}^{m}(h_{\Theta }(x^{i})-y^{(i))})$

$\Theta_{1} := \Theta_{1}-\alpha \frac{1}{m} \sum_{i=1}^{m}(h_{\Theta }(x^{i})-y^{(i))})\cdot x^{i}$

 

○ 학습률($\alpha$, learning rate)

 - 학습률이 너무 작으면 학습이 더디게 됨

 - 학습률이 너무 크면 cost function(비용함수)의 최솟값을 찾을수 없음. 수렴X & 발산

 - 학습률의 값을 조정하더라도 local minimum에만 도달할 수 있음, global minimum이라는 보장 X (주의)