머신러닝 공부 4편 - 정규화된 로지스틱 회귀분석

○ 과적합(Overfitting)

너무 많은 Feature를 가지고 있는 경우, 가설함수가 traning set에는 매우 잘 맞지만 새로운 data에 대해서는 일반화에 실패하는 문제를 일컫는다.

☞ 과적합 문제의 해결 방법

1. Feature의 개수를 줄인다.
 - 수동으로 사용할 Feature를 선택한다.
 - 알고리즘을 사용하여 Feature를 선택한다.

2. 정규화(Regularization)
 - 모든 Feature를 유지하되, $\Theta$의 값을 줄인다. ($\Theta _{j}\, \approx \, 0$)
 - Feature의 개수가 많아도 y를 잘 예측할 수 있도록 만들어준다.

 

○ 정규화(Regularization)

 ☞ 접근방법

$\Theta _{0}+\Theta _{1}x+\Theta _{2}x^{2}+\Theta _{3}x^{3}+\Theta _{4}x^{4}$에서 $\Theta _{3}$,  $\Theta _{4}$를 아주 작게 만들기 위해 큰 가중치를 부여한다. (패널티 부과)

 → $\Theta _{3}\, \approx \, 0$,  $\Theta _{4}\, \approx \, 0$이 됨.

 ☞ 정규화

○ 정규화된 선형회귀분석(Regularized Linear Regression)

☞  경사하강법(Gradient Descent)

☞ 정규방정식(Normal Equation)

○ 정규화된 로지스틱 회귀분석(Regularized Logistic Regression)

☞ 비용함수(Cost Function)

 

☞ 경사하강법(Gradient Descent)