[시즌1].Lecture 10_2 - Neural Network 2: ReLU and 초기값 정하기_Weight 초기화 잘해보자

* 이 글은 홍콩과기대 김성훈 교수님의 무료 동영상 강좌 "모두를 위한 머신러닝과 딥러닝 강의"를 보고 요점을 정리한 글 입니다. Restricted Boltzmann Machine(RBM)과 Deep Belief Network(DBN)많은 Layer를 갖는 Neural Network(신경망)의 제일 중요한 문제점이 바로 Vanishing Gradient(기울기 소실) 문제 입니다. 이 문제를 해결하기 위해서는 내부 Layer들의 Activation Function(활성화 함수)으로 Sigmoid Function(시그모이드 함수)이 아닌 ReLU와 같은 다른 함수를 사용하는 방법이 있고, 초기 Weight값을 잘 설정해주는 방법이 있습니다. 만약 모든 초기 Weight(가중치) 값을 0으로 설정한다면 B..