[시즌1].Lecture 07_1 - ML의 실용과 몇가지 팁_Learning Rate, Overfitting, Regularization

* 이 글은 홍콩과기대 김성훈 교수님의 무료 동영상 강좌 "모두를 위한 머신러닝과 딥러닝 강의"를 보고 요점을 정리한 글 입니다. Learning Rate(학습율)Machine Learning(기계 학습)에서 학습을 할때, Cost Function(비용 함수)의 최소지점을 찾기 위하여 Gradient Descent Algorithm(기울기 감소 알고리즘)을 많이 사용합니다. 이 Gradient Descent Algorithm의 공식인 Equation (1)을 보면 Cost Function의 미분값에 Alpha를 곱한것을 볼 수 있습니다. 여기서 이 Alpha가 바로 Learning Rate(학습율)를 의미합니다. $$ W := W - \alpha \frac{\partial}{\partial W} cost..

• format_list_bulleted 모두를 위한 머신러닝과 딥러닝 강의-시즌 1
• · 2024. 6. 25.
• textsms

[시즌1].Lecture 06_2 - Softmax Regression_Cost Function 소개

* 이 글은 홍콩과기대 김성훈 교수님의 무료 동영상 강좌 "모두를 위한 머신러닝과 딥러닝 강의"를 보고 요점을 정리한 글 입니다. Softmax Regression(소프트맥스 회귀)Logistic Regression(논리 회귀)은 단순히 입력한 결과를 2가지 종류로 분류하는 것이라고 한다면 Softmax Regression(소프트맥스 회귀)은 여러개의 종류로 분류하는 것을 말합니다. Logistic Regression과 Softmax Regression은 기본적인 과정은 비슷하지만 가장 큰 차이점을 말하자면, Logistic Regression은 Hypothesis(가설)에서의 결과를 Sigmoid 함수를 통해 0과 1사이의 값으로 도출시킨 후 분류하고 Softmax Regression에서는 Sigmoi..

• format_list_bulleted 모두를 위한 머신러닝과 딥러닝 강의-시즌 1
• · 2024. 6. 24.
• textsms

[시즌1].Lecture 05_2 - Logistic Classification_Cost Function 소개

* 이 글은 홍콩과기대 김성훈 교수님의 무료 동영상 강좌 "모두를 위한 머신러닝과 딥러닝 강의"를 보고 요점을 정리한 글 입니다. Cost Function(비용 함수)Cost Function(비용 함수)은 대입하는데 사용되는 Hypothesis(가설)에 의해서 그래프의 모양이 결정됩니다. 예를들어 Linear Regression(선형 회귀)에서 사용되는 Hypothesis인 Equation (1)을 Cost Function에 대입하면 Equation (2)를 구할 수 있고 이 공식은 W에 대한 2차방정식의 형태라는 것을 알 수 있습니다.  $$H(x)=Wx$$ (1) $$\text{cost}(W) = \frac{1}{m} \sum_{i=1}^{m} (Wx^{(i)} - y^{(i)})^2$$ (2) Lo..

• format_list_bulleted 모두를 위한 머신러닝과 딥러닝 강의-시즌 1
• · 2024. 6. 22.
• textsms

[시즌1].Lecture 05_1 - Logistic Classification_Hypothesis 함수 소개

* 이 글은 홍콩과기대 김성훈 교수님의 무료 동영상 강좌 "모두를 위한 머신러닝과 딥러닝 강의"를 보고 요점을 정리한 글 입니다. Regression(회귀) 일반화Regression(회귀)의 Hypothesis(가설)을 일반화 해보면 Equation (1)으로 표현이 가능합니다.  $$H(x)=Wx$$ (1) 일반화시킨 Hypothesis를 Cost Function(비용 함수)에 대입해서 Equation (2)를 도출하고, 이 새로이 도출한 Cost Function을 Gradient Descent Algorithm(기울기 감소 알고리즘)에 대입하여 일반화된 공식인 Equation (3)를 도출할 수 있습니다. $$ \text{cost}(W) = \frac{1}{m} \sum_{i=1}^{m} (Wx^{(..

• format_list_bulleted 모두를 위한 머신러닝과 딥러닝 강의-시즌 1
• · 2024. 6. 21.
• textsms

[시즌1].Lecture 03 - Linear Regression Cost Function 최소화

* 이 글은 홍콩과기대 김성훈 교수님의 무료 동영상 강좌 "모두를 위한 머신러닝과 딥러닝 강의"를 보고 요점을 정리한 글 입니다. Linear Regression Cost Function(선형 회귀에서의 비용 함수)Linear Regression(선형 회귀)은 직선적 관계를 가지고 있기 때문에 Hypothesis(가설)은 1차 방정식인 Equation (1)으로 표현할수 있습니다.  $$H(x)=W x+b$$ (1) 그리고 Linear Regression에서 사용하는 Cost Function(비용 함수)는 모든 x에서의 실제 값 y와 예측한 값 H(x)간의 거리들의 제곱값을 모두 더한 Equation (2)입니다. $$ \operatorname{cost}=\frac{1}{m} \sum_{i=1}^m\le..

• format_list_bulleted 모두를 위한 머신러닝과 딥러닝 강의-시즌 1
• · 2024. 6. 19.
• textsms

[시즌1].Lecture 02 - Linear Regression의 개념

* 이 글은 홍콩과기대 김성훈 교수님의 무료 동영상 강좌 "모두를 위한 머신러닝과 딥러닝 강의"를 보고 요점을 정리한 글 입니다. Linear Regression(선형 회귀)Regression(회귀)는 Machine Learning(머신 러닝)에서도 Training Data Set을 사용하는 Supervised Learning(지도 학습)의 한 종류입니다.학생이 공부한 시간 x를 입력하여 학생의 시험 점수 y를 예측하는 것도 Regression이라고 할 수 있습니다. 그리고 이것을 좀더 세부적으로 살펴본자면 학생이 공부한 시간 x가 크면 클수록 학생의 시험 성적 y가 높은 경우가 많기 때문에 이것은 Linear(직선적) 성질을 갖는 Linear Regression(선형 회귀)이라고 분류할 수 있습니다. ..

• format_list_bulleted 모두를 위한 머신러닝과 딥러닝 강의-시즌 1
• · 2024. 6. 18.
• textsms