Daily IT Study

• linear classifier는 하나의 선형식으로 데이터를 나누는 방법을 말합니다.

• 38선을 기준으로 북한과 남한을 나누는 것을 생각해보면 직관적으로 이해가 쉽다.

• 하나의 선형식으로 위/아래 공각이 나뉘기 때문에 위는 1로 아래는 0으로 inferenc를 하게 되면 두 가지의 케이스로 데이터를 분류할 수 있습니다.

Go Detail

• $y = Wx + b$ 의 식을 자세히 들여다보면, 다음과 같이 표시할 수 있습니다.

  → $y = w_1 * x_1 + w_2 * x_2 + ... + w_n * x_n + b$

  이렇게 일반화된 수식을 이해를 돕기 위해서 두 개의 항을 가지고 생각해보겠습니다. ⇒ $y = w_1 * x_1 + w_2 * x_2 + b$

  ⇒$\hat y = 3x_1 + 2x_2 +1, x=(1,2)$ → $\hat y = 3 * 1 - 2 * 2 + 1 = 0$(output score) → 1(predicted value) ↔ 1(target value) O

  ⇒ $x = (-3,1)$ → $\hat y = 3 * (-3) -3 * 1 +1 = -9$(output score) → 0(predicted value) ↔ 1(target value) X

  위의 수식에서 $(x1, x2)$는 2차원 feature vector이며, y는 output score입니다.

  (output score란, predicted value를 계산하기 위해서 필요한 값입니다.)

  처음에 random으로 세팅된 파라미터값을 가지고 하나의 데이터에 대해서 $y$값을 계산합니다. 계산된 $y$값이 0보다 크다면, 1을 아니라면 0을 predicted value로 출력합니다.

  이 때 0을 기준으로 하는 이유는, 선형식 위에 있는 점인 경우 계산 결과가 0이기 때문에 0보다 크냐 작냐에 따라서 선형식의 위냐 아래냐를 판단할 수 있기 때문입니다.

  그렇게 되면, $\hat y$는 0 또는 1이 되며, $y$도 0 또는 1이므로 맞고 틀림을 체크할 수 있습니다.

• 따라서 linear classifier로 학습을 했다는 건 데이터를 잘 나누는 적절한 파라미터 $W$와 $b$를 찾는 것이 됩니다.

• 이 경계면을 decision boundary라고 하며, 이 경계면을 linear classifier라고 합니다.

Hands-on

1. 분류를 위한 2차원 데이터 4개가 있습니다. 아래 데이터에서 X는 feature vector, y는 그에 대응되는 target value라고 할 때, X를 구분하는 직선을 하나 찾아서 수식으로 작성해보세요. $X = \{(1, 1), (1, 2), (3, 2), (2, 3)\}$, $y = \{0, 1, 0, 1\}$

2. $y = x - 3$ 을 linear classifier라고 한다면, 이 분류기는 1번 문제의 데이터를 완전히 분류할 수 있나요? 없다면 어떻게 파라미터를 바꾸면 온전히 분류할 수 있을지 생각해보세요.