본문 바로가기
반응형

각종공부32

머신러닝 공부 4편 - 정규화된 로지스틱 회귀분석 ○ 과적합(Overfitting) 너무 많은 Feature를 가지고 있는 경우, 가설함수가 traning set에는 매우 잘 맞지만 새로운 data에 대해서는 일반화에 실패하는 문제를 일컫는다. ☞ 과적합 문제의 해결 방법 1. Feature의 개수를 줄인다. - 수동으로 사용할 Feature를 선택한다. - 알고리즘을 사용하여 Feature를 선택한다. 2. 정규화(Regularization) - 모든 Feature를 유지하되, $\Theta$의 값을 줄인다. ($\Theta _{j}\, \approx \, 0$) - Feature의 개수가 많아도 y를 잘 예측할 수 있도록 만들어준다. ○ 정규화(Regularization) ☞ 접근방법 $\Theta _{0}+\Theta _{1}x+\Theta _{2.. 2020. 6. 15.
머신러닝 공부 3편 - 로지스틱 회귀분석에서의 비용함수, 경사하강법 | Machine Learning(Coursera, Andrew Ng) ○ 분류(Classification) $y\: \in \left \{ 0,\, 1 \right \}$ ··· 0 : negative class, 1 : positive class 기존 선형회귀분석 $h_{\Theta }(x) = \Theta _{0}+\Theta _{1}x$으로 분류를 할 경우, $h_{\Theta }(x)$는 0 or 1이 되어야 하는데, x 값에 따라 $h_{\Theta }(x)$의 값이 0보다 작아지기도 하고, 1보다 커지기도 하는 문제가 발생한다 따라서 $0\leq h_{\Theta }(x)\leq 1$을 만족시키기 위해 시그모이드 함수(Sigmoid Function)을 이용하여 변환을 시켜준다. → $g(z)\: =\: \frac{1}{1+e^{-z}}$ → $z\: =\: \T.. 2020. 6. 14.
표본분산 공식에서 n 대신 n-1을 사용하는 이유 표본분산 공식 $s^2\, =\, \frac{\sum (x_{i}-\overline{x})^2}{n-1}$ 에서 분모는 왜 n이 아니라 n-1일까? 이는 $\sum (x_{i}-\overline{x})^2$을 $n-1$로 나누어야 표본분산의 기대치가 모분산이 되기 때문이다. (n-1을 사용해야 표본분산이 모분산의 불편추정치가 된다!) 모평균과 모분산이 $\mu,\: \sigma ^2$를 따르는 분포에서 관측한 $x_{1},\: \cdots ,\: x_{n}$에 대하여 표본평균은 $\overline{x}\: = \: \frac{\sum x_{i}}{n}$이고, 표본평균의 평균과 분산은 $E(\overline{x})\: = \: \mu ,\:\: Var(\overline{x})\: =\: \frac{\sig.. 2020. 6. 13.
최우추정(Maximum Likelihood) 요약정리 서론 ☞ 미지의 모수 $\Theta $에 대한 정보를 유도하기 위해 분포로부터 확률분포를 취한다. 즉, 실험을 각각 독립적으로 $n$번 반복하여 표본 $X_{1},\: \cdots , X_{n}$을 관측하고, 관측치 $x_{1},\: \cdots , x_{n}$을 이용하여 $\Theta $의 값을 추정해 내려고 한다. ☞ $\Theta $를 추정하기 위해 쓰인 표본 $X_{1},\: \cdots , X_{n}$의 함수, 즉 통계량 $u(X_{1},\: \cdots , X_{n})$를 $\Theta$의 추정량(estimator)이라 한다. ☞ 이들 통계량에 각각 해당되는 관측치 $u(x_{1},\: \cdots , x_{n})$를 추정치(estimate)라 한다. 최우 추정량 ☞ $X_{1},\: \cdo.. 2020. 6. 10.
머신러닝 공부 요약 정리 2편 - 다항회귀모델 경사하강법, 정규방정식 | Machine Learning(Coursera, Andrew Ng) ○ 다항 선형 회귀모델(Linear Regression with multiple variables) $h_{\Theta }(x) = \Theta _{0}+\Theta _{1}x+\Theta _{2}x_{2}+\cdot \cdot \cdot +\Theta _{n}x_{n}$ 을 행렬로 표시하면 다음과 같다. ○ 다항변수에서의 경사하강법(Gradient decent for multiple variables) ○ 정규방정식(Normal equation) $\Theta = (X^{'}X)^{-1}X^{'}y$ → 모든 $j$에 대하여 $ \frac{\partial}{\partial\Theta _{_{j}}}J(\Theta )=\cdots =0$을 구하는 케이스 → 증명 ○ 경사하강법(Gradient Descen.. 2020. 6. 7.
머신러닝 공부를 수월하게 해주는 영어 단어 모음 | Machine Learning(Coursera, Andrew Ng) 머신러닝 입문강의로 코세라(Coursera) - Andrew Ng 교수님의 머신러닝 강의가 빠질 수 없는데요, 강의에서 자주 나오는 영어 단어들을 정리해보았습니다. 머신러닝 강의 수강 전 아래 영어 단어 한번 집고 넘어가시면 더 수월하실 거라 생각합니다^^ explicitly 명쾌하게 pervade 퍼지다, 만연하다 slightly 약간, 조금 opponent (게임, 대회 등의)상대, (~에 대한)반대자 discrete 별개의 concrete 구체적인 corresponding ~에 해당하는 attribute 속성, ~의 결과로 보다 denote 의미하다, 나타내다 tragically 비극적으로 just to recap, 간략하게 말하자면, cohensive group 응집력이 강한 집단 relative.. 2020. 5. 30.
반응형

티스토리툴바