[시즌1].Lecture 02 - Linear Regression의 개념

* 이 글은 홍콩과기대 김성훈 교수님의 무료 동영상 강좌 "모두를 위한 머신러닝과 딥러닝 강의"를 보고 요점을 정리한 글 입니다.

 

Linear Regression(선형 회귀)

Regression(회귀)는 Machine Learning(머신 러닝)에서도 Training Data Set을 사용하는 Supervised Learning(지도 학습)의 한 종류입니다.

학생이 공부한 시간 x를 입력하여 학생의 시험 점수 y를 예측하는 것도 Regression이라고 할 수 있습니다. 그리고 이것을 좀더 세부적으로 살펴본자면 학생이 공부한 시간 x가 크면 클수록 학생의 시험 성적 y가 높은 경우가 많기 때문에 이것은 Linear(직선적) 성질을 갖는 Linear Regression(선형 회귀)이라고 분류할 수 있습니다.

 

즉, Linear Regression이란 Regression 중에서도 데이터들이 직선적 관계에 있다는 Linear한 특성을 지닌 Regression이라고 할 수 있습니다.

 

위의 경우 이외에도 수많은 현상들이 Linear한 성질을 가지고 있기 때문에 Linear Regression은 간단하지만 중요하다고 할 수 있습니다.

 

Hypothesis(가설)

Linear Regression에서 학습하기 전에 먼저 Hypothesis(가설)을 세울 필요가 있습니다. 여기서 Hypothesis는 데이터를 표현하는 방정식을 의미하는데, Linear Regression은 직선적 관계를 가지고 있기 때문에 우리가 알고있는 1차 방정식 형태인 Equation (1)으로 표현할 수 있습니다.

 

$$ H(x)=W x+b $$

(1)

 

Cost Function(비용 함수)

Hypothesis는 입력값 x에서의 예측한 값 H(x)와 실제 값 y간의 거리들을 모두 합한 값이 작으면 작을 수록 좋습니다. 이런 거리 값들을 계산할때 사용하는 함수가 Cost Function(비용 함수)이고 Loss Function(손실 함수)이라고 부르기도 합니다.

 

Cost Function을 계산할 때 입력값 x에서의 예측한 값 H(x)와 실제 값 y간의 거리들을 모두 합해야 하는데 실질적으로 Cost Function 공식에서 사용되는 거리의 값은 Equation (2)가 아닌 제곱값인 Equation (3)를 사용합니다.

 

$$ H(x)-y $$	(2)
$$ (H(x)-y)^2 $$	(3)

 

이것은 Equation (2)가 음수 값이 나올수 있는 가능성을 없애고 거리들의 합이 큰 가설에게 더 큰 페널티를 주어 빠르게 좋은 가설을 찾기 위해서 사용하는 것 입니다.

 

Cost Function은 모든 x 값들에서의 거리를 모두 계산해야 하므로 Equation (4)로 표현할 수 있습니다.

 

$$ \operatorname{cost}=\frac{1}{m} \sum_{i=1}^m\left(H\left(x^{(i)}\right)-y^{(i)}\right)^2 $$

(4)

 

이 공식에 Equation (1)을 대입해 보면 Cost Function은 실질적으로는 W 와 b를 변수로 갖는 함수 Equation (5)라는 것을 확인할 수 있습니다.  

 

$$ \operatorname{cost}(W, b)=\frac{1}{m} \sum_{i=1}^m\left(\left(W x^{(i)}+b\right)-y^{(i)}\right)^2 $$

(5)