* 이 글은 홍콩과기대 김성훈 교수님의 무료 동영상 강좌 "모두를 위한 머신러닝과 딥러닝 강의"를 보고 요점을 정리한 글 입니다.
XOR 문제 해결방법
과거 사람들이 해결하려고 했던 XOR 문제는 x1, x2 가 (0,0)이면 0을, (0,1)이면 1을, (1,0)이면 1을, (1,1)이면 0을 반환하는 문제입니다. 하지만 결국 이런 문제는 1개의 Logistic Regression(논리 회귀) 으로는 해결할 수 없다는 사실이 밝혀지게 되었고 여러개 즉 Multiple Logistic Regression(다중 논리 회귀) 으로는 해결할 수 있다는 것이 밝혀졌습니다.
위의 그림과 같이 입력값 x1, x2 를 2개의 다른 Logistic Regression에 넣어서 얻어낸 결과값 y1, y2 를 다시 새로운 Logistic Regression에 집어 넣으면 XOR의 결과를 얻어낼 수 있습니다.
앞의 강의에서 배웠듯이 Logistic Regression 여러개를 합치면 Multinomial Classification(다범주 분류)으로 만들 수 있습니다. 이 Multinomial Classification의 식은 계산의 편리성을 위해 행렬식으로 이루어져 있고 옆의 XOR 모델 또한 이 같은 행렬식으로 표현할 수 있습니다.
최종적으로 위의 그림에서 가장 아래에 있는 형태의 모델이 완성되게되는데 이 모델을 수식으로 표현하면 Equation (1), (2)와 같습니다.
| $$ K(X) = sigmoid(XW_1 + B_1)$$ | (1) |
| $$ \quad \bar{Y} = H(X) = sigmoid(K(X)W_2 + b_2) $$ | (2) |