[시즌1].Lecture 10_1 - Neural Network 2: ReLU and 초기값 정하기_Sigmoid 보다 ReLU가 더 좋아

* 이 글은 홍콩과기대 김성훈 교수님의 무료 동영상 강좌 "모두를 위한 머신러닝과 딥러닝 강의"를 보고 요점을 정리한 글 입니다. ReLU(Rectified Linear Unit)복잡한 문제를 해결하기 위해서는 많은 Layer를 가지고 있는 Neural Network(신경망)를 사용해야합니다. 각각의 Layer에서는 Weight(가중치)와 Bias를 적용시켜서 계산해 주어야 하고 계산한 값을 Activation Function(활성화 함수)을 통해서 한번 바꾸어준 뒤 다음 Layer로 넘겨주어야합니다. 모든 Layer를 계산하고 도출된 마지막 결과값은 0과 1사이의 값이 나와야하기 때문에 Activation Function으로 Sigmoid Function(시그모이드 함수)을 사용해야합니다. 하지만 이것..