반응형 각종공부32 머신러닝 공부 4편 - 정규화된 로지스틱 회귀분석 ○ 과적합(Overfitting) 너무 많은 Feature를 가지고 있는 경우, 가설함수가 traning set에는 매우 잘 맞지만 새로운 data에 대해서는 일반화에 실패하는 문제를 일컫는다. ☞ 과적합 문제의 해결 방법 1. Feature의 개수를 줄인다. - 수동으로 사용할 Feature를 선택한다. - 알고리즘을 사용하여 Feature를 선택한다. 2. 정규화(Regularization) - 모든 Feature를 유지하되, Θ의 값을 줄인다. (Θj≈0) - Feature의 개수가 많아도 y를 잘 예측할 수 있도록 만들어준다. ○ 정규화(Regularization) ☞ 접근방법 $\Theta _{0}+\Theta _{1}x+\Theta _{2.. 2020. 6. 15. 머신러닝 공부 3편 - 로지스틱 회귀분석에서의 비용함수, 경사하강법 | Machine Learning(Coursera, Andrew Ng) ○ 분류(Classification) y∈{0,1} ··· 0 : negative class, 1 : positive class 기존 선형회귀분석 hΘ(x)=Θ0+Θ1x으로 분류를 할 경우, hΘ(x)는 0 or 1이 되어야 하는데, x 값에 따라 hΘ(x)의 값이 0보다 작아지기도 하고, 1보다 커지기도 하는 문제가 발생한다 따라서 0≤hΘ(x)≤1을 만족시키기 위해 시그모이드 함수(Sigmoid Function)을 이용하여 변환을 시켜준다. → g(z)=11+e−z → $z\: =\: \T.. 2020. 6. 14. 표본분산 공식에서 n 대신 n-1을 사용하는 이유 표본분산 공식 s2=∑(xi−¯x)2n−1 에서 분모는 왜 n이 아니라 n-1일까? 이는 ∑(xi−¯x)2을 n−1로 나누어야 표본분산의 기대치가 모분산이 되기 때문이다. (n-1을 사용해야 표본분산이 모분산의 불편추정치가 된다!) 모평균과 모분산이 μ,σ2를 따르는 분포에서 관측한 x1,⋯,xn에 대하여 표본평균은 ¯x=∑xin이고, 표본평균의 평균과 분산은 $E(\overline{x})\: = \: \mu ,\:\: Var(\overline{x})\: =\: \frac{\sig.. 2020. 6. 13. 최우추정(Maximum Likelihood) 요약정리 서론 ☞ 미지의 모수 Θ에 대한 정보를 유도하기 위해 분포로부터 확률분포를 취한다. 즉, 실험을 각각 독립적으로 n번 반복하여 표본 X1,⋯,Xn을 관측하고, 관측치 x1,⋯,xn을 이용하여 Θ의 값을 추정해 내려고 한다. ☞ Θ를 추정하기 위해 쓰인 표본 X1,⋯,Xn의 함수, 즉 통계량 u(X1,⋯,Xn)를 Θ의 추정량(estimator)이라 한다. ☞ 이들 통계량에 각각 해당되는 관측치 u(x1,⋯,xn)를 추정치(estimate)라 한다. 최우 추정량 ☞ $X_{1},\: \cdo.. 2020. 6. 10. 머신러닝 공부 요약 정리 2편 - 다항회귀모델 경사하강법, 정규방정식 | Machine Learning(Coursera, Andrew Ng) ○ 다항 선형 회귀모델(Linear Regression with multiple variables) hΘ(x)=Θ0+Θ1x+Θ2x2+⋅⋅⋅+Θnxn 을 행렬로 표시하면 다음과 같다. ○ 다항변수에서의 경사하강법(Gradient decent for multiple variables) ○ 정규방정식(Normal equation) Θ=(X′X)−1X′y → 모든 j에 대하여 ∂∂ΘjJ(Θ)=⋯=0을 구하는 케이스 → 증명 ○ 경사하강법(Gradient Descen.. 2020. 6. 7. 머신러닝 공부를 수월하게 해주는 영어 단어 모음 | Machine Learning(Coursera, Andrew Ng) 머신러닝 입문강의로 코세라(Coursera) - Andrew Ng 교수님의 머신러닝 강의가 빠질 수 없는데요, 강의에서 자주 나오는 영어 단어들을 정리해보았습니다. 머신러닝 강의 수강 전 아래 영어 단어 한번 집고 넘어가시면 더 수월하실 거라 생각합니다^^ explicitly 명쾌하게 pervade 퍼지다, 만연하다 slightly 약간, 조금 opponent (게임, 대회 등의)상대, (~에 대한)반대자 discrete 별개의 concrete 구체적인 corresponding ~에 해당하는 attribute 속성, ~의 결과로 보다 denote 의미하다, 나타내다 tragically 비극적으로 just to recap, 간략하게 말하자면, cohensive group 응집력이 강한 집단 relative.. 2020. 5. 30. 이전 1 2 3 4 5 6 다음 반응형
