[시즌1].Lecture 10_2 - Neural Network 2: ReLU and 초기값 정하기_Weight 초기화 잘해보자

[시즌1].Lecture 10_2 - Neural Network 2: ReLU and 초기값 정하기_Weight 초기화 잘해보자

* 이 글은 홍콩과기대 김성훈 교수님의 무료 동영상 강좌 "모두를 위한 머신러닝과 딥러닝 강의"를 보고 요점을 정리한 글 입니다. Restricted Boltzmann Machine(RBM)과 Deep Belief Network(DBN)많은 Layer를 갖는 Neural Network(신경망)의 제일 중요한 문제점이 바로 Vanishing Gradient(기울기 소실) 문제 입니다. 이 문제를 해결하기 위해서는 내부 Layer들의 Activation Function(활성화 함수)으로 Sigmoid Function(시그모이드 함수)이 아닌 ReLU와 같은 다른 함수를 사용하는 방법이 있고, 초기 Weight값을 잘 설정해주는 방법이 있습니다. 만약 모든 초기 Weight(가중치) 값을 0으로 설정한다면 B..

  • format_list_bulleted 강의 Study/모두를 위한 머신러닝과 딥러닝 강의-시즌 1
  • · 2024. 7. 2.
  • textsms
[시즌1].Lecture 10_1 - Neural Network 2: ReLU and 초기값 정하기_Sigmoid 보다 ReLU가 더 좋아

[시즌1].Lecture 10_1 - Neural Network 2: ReLU and 초기값 정하기_Sigmoid 보다 ReLU가 더 좋아

* 이 글은 홍콩과기대 김성훈 교수님의 무료 동영상 강좌 "모두를 위한 머신러닝과 딥러닝 강의"를 보고 요점을 정리한 글 입니다. ReLU(Rectified Linear Unit)복잡한 문제를 해결하기 위해서는 많은 Layer를 가지고 있는 Neural Network(신경망)를 사용해야합니다. 각각의 Layer에서는 Weight(가중치)와 Bias를 적용시켜서 계산해 주어야 하고 계산한 값을 Activation Function(활성화 함수)을 통해서 한번 바꾸어준 뒤 다음 Layer로 넘겨주어야합니다. 모든 Layer를 계산하고 도출된 마지막 결과값은 0과 1사이의 값이 나와야하기 때문에 Activation Function으로 Sigmoid Function(시그모이드 함수)을 사용해야합니다. 하지만 이것..

  • format_list_bulleted 강의 Study/모두를 위한 머신러닝과 딥러닝 강의-시즌 1
  • · 2024. 7. 1.
  • textsms
[시즌1].Lecture 09_2 - Neural Network 1: XOR 문제와 학습방법, Backpropagation_Deep Network 학습 시키기(BackPropagation)

[시즌1].Lecture 09_2 - Neural Network 1: XOR 문제와 학습방법, Backpropagation_Deep Network 학습 시키기(BackPropagation)

* 이 글은 홍콩과기대 김성훈 교수님의 무료 동영상 강좌 "모두를 위한 머신러닝과 딥러닝 강의"를 보고 요점을 정리한 글 입니다. BackPropagation(Chain Rule)수많은 복잡하고 어려운 문제를 해결하기 위해서는 왼쪽의 그림과 같이 많은 Layer를 가지고 있는 Neural Network를 사용해야만 합니다. 과거에는 이런 많은 수의 Layer에 적용해야 하는 각각의 Weight(가중치)와 Bias 값을 학습시킬수 있는 방법이 없을 것이라고 생각했지만 결국 BackPropagation(역전파)을 사용한다면 충분히 학습이 가능하다는 결론을 얻게 되었습니다. 학습의 궁극적인 목표는 Gradient Descent Algorithm(기울기 감소 알고리즘)과 같은 알고리즘을 사용하여 Cost Fun..

  • format_list_bulleted 강의 Study/모두를 위한 머신러닝과 딥러닝 강의-시즌 1
  • · 2024. 6. 30.
  • textsms
[시즌1].Lecture 09_1 - Neural Network 1: XOR 문제와 학습방법, Backpropagation_XOR 문제 딥러닝으로 풀기

[시즌1].Lecture 09_1 - Neural Network 1: XOR 문제와 학습방법, Backpropagation_XOR 문제 딥러닝으로 풀기

* 이 글은 홍콩과기대 김성훈 교수님의 무료 동영상 강좌 "모두를 위한 머신러닝과 딥러닝 강의"를 보고 요점을 정리한 글 입니다. XOR 문제 해결방법과거 사람들이 해결하려고 했던 XOR 문제는 x1, x2 가 (0,0)이면 0을, (0,1)이면 1을, (1,0)이면 1을, (1,1)이면 0을 반환하는 문제입니다. 하지만 결국 이런 문제는 1개의 Logistic Regression(논리 회귀) 으로는 해결할 수 없다는 사실이 밝혀지게 되었고 여러개 즉 Multiple Logistic Regression(다중 논리 회귀) 으로는 해결할 수 있다는 것이 밝혀졌습니다.  위의 그림과 같이 입력값 x1, x2 를 2개의 다른 Logistic Regression에 넣어서 얻어낸 결과값 y1, y2 를 다시 새로운..

  • format_list_bulleted 강의 Study/모두를 위한 머신러닝과 딥러닝 강의-시즌 1
  • · 2024. 6. 29.
  • textsms
[시즌1].Lecture 08_2 - 딥러닝의 기본 개념과, 문제, 그리고 해결_딥러닝의 기본 개념2: Back-propagation 과 2006/2007 '딥'의 출현

[시즌1].Lecture 08_2 - 딥러닝의 기본 개념과, 문제, 그리고 해결_딥러닝의 기본 개념2: Back-propagation 과 2006/2007 '딥'의 출현

* 이 글은 홍콩과기대 김성훈 교수님의 무료 동영상 강좌 "모두를 위한 머신러닝과 딥러닝 강의"를 보고 요점을 정리한 글 입니다. Deep Learning(딥 러닝)의 발전CIFAR(Canadian Institute for Advanced Research)에서 발표된 2개의 논문에 의해서 우리들이 알고있는 Deep Learning 혹은 Deep Network가 발전했다고 할 수 있습니다. 이 2개의 논문들은 2006년 Hinton과 2007년에 Bengio에 의해서 발표되었습니다. 2006년에 Hinton이 발표한 논문에는 Labeled Data의 수가 부족하고, 컴퓨터가 느리고, 잘못된 비선형을 사용하였고, 초기 Weight값을 잘못 설정하여서 많은 Layer를 가지고 있는 Neural Network가..

  • format_list_bulleted 강의 Study/모두를 위한 머신러닝과 딥러닝 강의-시즌 1
  • · 2024. 6. 28.
  • textsms
[시즌1].Lecture 08_1 - 딥러닝의 기본 개념과, 문제, 그리고 해결_딥러닝의 기본 개념: 시작과 XOR 문제

[시즌1].Lecture 08_1 - 딥러닝의 기본 개념과, 문제, 그리고 해결_딥러닝의 기본 개념: 시작과 XOR 문제

* 이 글은 홍콩과기대 김성훈 교수님의 무료 동영상 강좌 "모두를 위한 머신러닝과 딥러닝 강의"를 보고 요점을 정리한 글 입니다. Deep Learning(딥 러닝)의 시작인류의 궁극적 목표 중 하나는 우리를 대신해서 골치 아픈 일을 생각해 주는 기계를 만드는 것 일것입니다. 이러한 목표를 이루기 위해서 사람들은 인간의 뇌에 대하여 연구를 하게 되었고 연구해본 결과 인간의 뇌가 굉장히 복잡하게 연결되어 있다는 사실에 놀랐고 이것과 반대로 뇌에서의 가장 작은 단위인 뉴런이 굉장히 단순하게 동작된다는 것에 놀라게 되었습니다. 뉴런은 어떠한 입력 신호를 받아서 다른 뉴런으로 보내주거나 어떠한 반응을 일으킵니다. 뉴런은 달려있는 여러개의 돌기로부터 신호를 받아들이는데 이 돌기들의 길이에 따라 입력받는 신호의 양..

  • format_list_bulleted 강의 Study/모두를 위한 머신러닝과 딥러닝 강의-시즌 1
  • · 2024. 6. 27.
  • textsms