[시즌1].Lecture 10_3 - Neural Network 2: ReLU and 초기값 정하기_Dropout 과 앙상블

[시즌1].Lecture 10_3 - Neural Network 2: ReLU and 초기값 정하기_Dropout 과 앙상블

* 이 글은 홍콩과기대 김성훈 교수님의 무료 동영상 강좌 "모두를 위한 머신러닝과 딥러닝 강의"를 보고 요점을 정리한 글 입니다. DropoutMachine Learning(기계 학습)의 가장 중요한 문제점들 중 하나는 바로 Overfitting(과적합)입니다. 이 Overfitting은 Training Data Set에 너무 적합해진 현상을 의미합니다. Training Data Set으로 입력데이터를 집어넣으면 결과는 잘 나오지만 그밖의 데이터 Test Data Set을 입력데이터로하여 집어넣으면 좋지 않은 결과가 나오게되는 것이 이 Overfitting의 문제점이라고 할 수 있습니다. Error율과 Neural Network의 Layer수를 비교해 보면 Training Data Set을 입력데이터로 ..

  • format_list_bulleted 강의 Study/모두를 위한 머신러닝과 딥러닝 강의-시즌 1
  • · 2024. 7. 3.
  • textsms
[시즌1].Lecture 10_2 - Neural Network 2: ReLU and 초기값 정하기_Weight 초기화 잘해보자

[시즌1].Lecture 10_2 - Neural Network 2: ReLU and 초기값 정하기_Weight 초기화 잘해보자

* 이 글은 홍콩과기대 김성훈 교수님의 무료 동영상 강좌 "모두를 위한 머신러닝과 딥러닝 강의"를 보고 요점을 정리한 글 입니다. Restricted Boltzmann Machine(RBM)과 Deep Belief Network(DBN)많은 Layer를 갖는 Neural Network(신경망)의 제일 중요한 문제점이 바로 Vanishing Gradient(기울기 소실) 문제 입니다. 이 문제를 해결하기 위해서는 내부 Layer들의 Activation Function(활성화 함수)으로 Sigmoid Function(시그모이드 함수)이 아닌 ReLU와 같은 다른 함수를 사용하는 방법이 있고, 초기 Weight값을 잘 설정해주는 방법이 있습니다. 만약 모든 초기 Weight(가중치) 값을 0으로 설정한다면 B..

  • format_list_bulleted 강의 Study/모두를 위한 머신러닝과 딥러닝 강의-시즌 1
  • · 2024. 7. 2.
  • textsms
[시즌1].Lecture 10_1 - Neural Network 2: ReLU and 초기값 정하기_Sigmoid 보다 ReLU가 더 좋아

[시즌1].Lecture 10_1 - Neural Network 2: ReLU and 초기값 정하기_Sigmoid 보다 ReLU가 더 좋아

* 이 글은 홍콩과기대 김성훈 교수님의 무료 동영상 강좌 "모두를 위한 머신러닝과 딥러닝 강의"를 보고 요점을 정리한 글 입니다. ReLU(Rectified Linear Unit)복잡한 문제를 해결하기 위해서는 많은 Layer를 가지고 있는 Neural Network(신경망)를 사용해야합니다. 각각의 Layer에서는 Weight(가중치)와 Bias를 적용시켜서 계산해 주어야 하고 계산한 값을 Activation Function(활성화 함수)을 통해서 한번 바꾸어준 뒤 다음 Layer로 넘겨주어야합니다. 모든 Layer를 계산하고 도출된 마지막 결과값은 0과 1사이의 값이 나와야하기 때문에 Activation Function으로 Sigmoid Function(시그모이드 함수)을 사용해야합니다. 하지만 이것..

  • format_list_bulleted 강의 Study/모두를 위한 머신러닝과 딥러닝 강의-시즌 1
  • · 2024. 7. 1.
  • textsms
[시즌1].Lecture 09_2 - Neural Network 1: XOR 문제와 학습방법, Backpropagation_Deep Network 학습 시키기(BackPropagation)

[시즌1].Lecture 09_2 - Neural Network 1: XOR 문제와 학습방법, Backpropagation_Deep Network 학습 시키기(BackPropagation)

* 이 글은 홍콩과기대 김성훈 교수님의 무료 동영상 강좌 "모두를 위한 머신러닝과 딥러닝 강의"를 보고 요점을 정리한 글 입니다. BackPropagation(Chain Rule)수많은 복잡하고 어려운 문제를 해결하기 위해서는 왼쪽의 그림과 같이 많은 Layer를 가지고 있는 Neural Network를 사용해야만 합니다. 과거에는 이런 많은 수의 Layer에 적용해야 하는 각각의 Weight(가중치)와 Bias 값을 학습시킬수 있는 방법이 없을 것이라고 생각했지만 결국 BackPropagation(역전파)을 사용한다면 충분히 학습이 가능하다는 결론을 얻게 되었습니다. 학습의 궁극적인 목표는 Gradient Descent Algorithm(기울기 감소 알고리즘)과 같은 알고리즘을 사용하여 Cost Fun..

  • format_list_bulleted 강의 Study/모두를 위한 머신러닝과 딥러닝 강의-시즌 1
  • · 2024. 6. 30.
  • textsms
[시즌1].Lecture 09_1 - Neural Network 1: XOR 문제와 학습방법, Backpropagation_XOR 문제 딥러닝으로 풀기

[시즌1].Lecture 09_1 - Neural Network 1: XOR 문제와 학습방법, Backpropagation_XOR 문제 딥러닝으로 풀기

* 이 글은 홍콩과기대 김성훈 교수님의 무료 동영상 강좌 "모두를 위한 머신러닝과 딥러닝 강의"를 보고 요점을 정리한 글 입니다. XOR 문제 해결방법과거 사람들이 해결하려고 했던 XOR 문제는 x1, x2 가 (0,0)이면 0을, (0,1)이면 1을, (1,0)이면 1을, (1,1)이면 0을 반환하는 문제입니다. 하지만 결국 이런 문제는 1개의 Logistic Regression(논리 회귀) 으로는 해결할 수 없다는 사실이 밝혀지게 되었고 여러개 즉 Multiple Logistic Regression(다중 논리 회귀) 으로는 해결할 수 있다는 것이 밝혀졌습니다.  위의 그림과 같이 입력값 x1, x2 를 2개의 다른 Logistic Regression에 넣어서 얻어낸 결과값 y1, y2 를 다시 새로운..

  • format_list_bulleted 강의 Study/모두를 위한 머신러닝과 딥러닝 강의-시즌 1
  • · 2024. 6. 29.
  • textsms
[시즌1].Lecture 08_2 - 딥러닝의 기본 개념과, 문제, 그리고 해결_딥러닝의 기본 개념2: Back-propagation 과 2006/2007 '딥'의 출현

[시즌1].Lecture 08_2 - 딥러닝의 기본 개념과, 문제, 그리고 해결_딥러닝의 기본 개념2: Back-propagation 과 2006/2007 '딥'의 출현

* 이 글은 홍콩과기대 김성훈 교수님의 무료 동영상 강좌 "모두를 위한 머신러닝과 딥러닝 강의"를 보고 요점을 정리한 글 입니다. Deep Learning(딥 러닝)의 발전CIFAR(Canadian Institute for Advanced Research)에서 발표된 2개의 논문에 의해서 우리들이 알고있는 Deep Learning 혹은 Deep Network가 발전했다고 할 수 있습니다. 이 2개의 논문들은 2006년 Hinton과 2007년에 Bengio에 의해서 발표되었습니다. 2006년에 Hinton이 발표한 논문에는 Labeled Data의 수가 부족하고, 컴퓨터가 느리고, 잘못된 비선형을 사용하였고, 초기 Weight값을 잘못 설정하여서 많은 Layer를 가지고 있는 Neural Network가..

  • format_list_bulleted 강의 Study/모두를 위한 머신러닝과 딥러닝 강의-시즌 1
  • · 2024. 6. 28.
  • textsms