본문 바로가기
반응형

각종공부/머신러닝5

머신러닝 공부 4편 - 정규화된 로지스틱 회귀분석 ○ 과적합(Overfitting) 너무 많은 Feature를 가지고 있는 경우, 가설함수가 traning set에는 매우 잘 맞지만 새로운 data에 대해서는 일반화에 실패하는 문제를 일컫는다. ☞ 과적합 문제의 해결 방법 1. Feature의 개수를 줄인다. - 수동으로 사용할 Feature를 선택한다. - 알고리즘을 사용하여 Feature를 선택한다. 2. 정규화(Regularization) - 모든 Feature를 유지하되, $\Theta$의 값을 줄인다. ($\Theta _{j}\, \approx \, 0$) - Feature의 개수가 많아도 y를 잘 예측할 수 있도록 만들어준다. ○ 정규화(Regularization) ☞ 접근방법 $\Theta _{0}+\Theta _{1}x+\Theta _{2.. 2020. 6. 15.
머신러닝 공부 3편 - 로지스틱 회귀분석에서의 비용함수, 경사하강법 | Machine Learning(Coursera, Andrew Ng) ○ 분류(Classification) $y\: \in \left \{ 0,\, 1 \right \}$ ··· 0 : negative class, 1 : positive class 기존 선형회귀분석 $h_{\Theta }(x) = \Theta _{0}+\Theta _{1}x$으로 분류를 할 경우, $h_{\Theta }(x)$는 0 or 1이 되어야 하는데, x 값에 따라 $h_{\Theta }(x)$의 값이 0보다 작아지기도 하고, 1보다 커지기도 하는 문제가 발생한다 따라서 $0\leq h_{\Theta }(x)\leq 1$을 만족시키기 위해 시그모이드 함수(Sigmoid Function)을 이용하여 변환을 시켜준다. → $g(z)\: =\: \frac{1}{1+e^{-z}}$ → $z\: =\: \T.. 2020. 6. 14.
머신러닝 공부 요약 정리 2편 - 다항회귀모델 경사하강법, 정규방정식 | Machine Learning(Coursera, Andrew Ng) ○ 다항 선형 회귀모델(Linear Regression with multiple variables) $h_{\Theta }(x) = \Theta _{0}+\Theta _{1}x+\Theta _{2}x_{2}+\cdot \cdot \cdot +\Theta _{n}x_{n}$ 을 행렬로 표시하면 다음과 같다. ○ 다항변수에서의 경사하강법(Gradient decent for multiple variables) ○ 정규방정식(Normal equation) $\Theta = (X^{'}X)^{-1}X^{'}y$ → 모든 $j$에 대하여 $ \frac{\partial}{\partial\Theta _{_{j}}}J(\Theta )=\cdots =0$을 구하는 케이스 → 증명 ○ 경사하강법(Gradient Descen.. 2020. 6. 7.
머신러닝 공부를 수월하게 해주는 영어 단어 모음 | Machine Learning(Coursera, Andrew Ng) 머신러닝 입문강의로 코세라(Coursera) - Andrew Ng 교수님의 머신러닝 강의가 빠질 수 없는데요, 강의에서 자주 나오는 영어 단어들을 정리해보았습니다. 머신러닝 강의 수강 전 아래 영어 단어 한번 집고 넘어가시면 더 수월하실 거라 생각합니다^^ explicitly 명쾌하게 pervade 퍼지다, 만연하다 slightly 약간, 조금 opponent (게임, 대회 등의)상대, (~에 대한)반대자 discrete 별개의 concrete 구체적인 corresponding ~에 해당하는 attribute 속성, ~의 결과로 보다 denote 의미하다, 나타내다 tragically 비극적으로 just to recap, 간략하게 말하자면, cohensive group 응집력이 강한 집단 relative.. 2020. 5. 30.
머신러닝 공부 요약 정리 1편 - 비용함수, 학습률 | Machine Learning(Coursera, Andrew Ng) ○ 머신러닝 알고리즘의 종류 - Supervised Learning(지도학습) : 회귀(Regression), 분류(Classification) - Unsupervised Learning(비지도학습) - 기타 : Reinforcement learning, recommender systems ○ 비용함수(Cost Function) - 가설 : $ h_{\Theta }(x) = \Theta _{0}+\Theta _{1}x $ - 모수 : $ \Theta _{0}, \Theta _{1} $ - 비용함수 : $ J(\Theta_{0}, \Theta _{1}) = \frac{1}{2m} \sum_{i=1}^{m}(h_{\Theta }(x^{i})-y^{(i))})^2 $ - 목표 : $minimize_{\Thet.. 2020. 5. 29.
반응형

티스토리툴바