[시즌1].Lecture 10_3 - Neural Network 2: ReLU and 초기값 정하기_Dropout 과 앙상블

* 이 글은 홍콩과기대 김성훈 교수님의 무료 동영상 강좌 "모두를 위한 머신러닝과 딥러닝 강의"를 보고 요점을 정리한 글 입니다. DropoutMachine Learning(기계 학습)의 가장 중요한 문제점들 중 하나는 바로 Overfitting(과적합)입니다. 이 Overfitting은 Training Data Set에 너무 적합해진 현상을 의미합니다. Training Data Set으로 입력데이터를 집어넣으면 결과는 잘 나오지만 그밖의 데이터 Test Data Set을 입력데이터로하여 집어넣으면 좋지 않은 결과가 나오게되는 것이 이 Overfitting의 문제점이라고 할 수 있습니다. Error율과 Neural Network의 Layer수를 비교해 보면 Training Data Set을 입력데이터로 ..

• format_list_bulleted 강의 Study/모두를 위한 머신러닝과 딥러닝 강의-시즌 1
• · 2024. 7. 3.
• textsms

[시즌1].Lecture 07_1 - ML의 실용과 몇가지 팁_Learning Rate, Overfitting, Regularization

* 이 글은 홍콩과기대 김성훈 교수님의 무료 동영상 강좌 "모두를 위한 머신러닝과 딥러닝 강의"를 보고 요점을 정리한 글 입니다. Learning Rate(학습율)Machine Learning(기계 학습)에서 학습을 할때, Cost Function(비용 함수)의 최소지점을 찾기 위하여 Gradient Descent Algorithm(기울기 감소 알고리즘)을 많이 사용합니다. 이 Gradient Descent Algorithm의 공식인 Equation (1)을 보면 Cost Function의 미분값에 Alpha를 곱한것을 볼 수 있습니다. 여기서 이 Alpha가 바로 Learning Rate(학습율)를 의미합니다. $$ W := W - \alpha \frac{\partial}{\partial W} cost..

• format_list_bulleted 강의 Study/모두를 위한 머신러닝과 딥러닝 강의-시즌 1
• · 2024. 6. 25.
• textsms