🤖

Multiclass Classification

생성일

2025/05/13 13:07

태그

머신러닝

데이터마이닝

작성자

•

여러개의 이진 분류기(선형 분류기)를 엮어서 다중 분류 가능

•

발생 가능한 문제점

◦

단순히 선형 분류기 여러개를 사용하여 다중 분류를 수행하면, Class를 명확히 정의할 수 없는 영역이 생긴다.

⇒ 선형 분류기가 한 점에서 만나는 형태로 구성해야 함

•

선형 함수를 활용한 이진 분류의 경우 선형 함수를 바탕으로 분류 규칙을 설정하여 분류 진행

•

다중 분류의 규칙

◦

yk(x)=wTxy_k(x) = w^Txyk​(x)=wTx 에 대하여 만약 모든 jjj에 대해 yk(x)>yj(x)y_k(x) > y_j(x)yk​(x)>yj​(x) 라면 Class kkk로 분류한다. (단, j≠kj ≠ kj=k)

◦

따라서,  max(y1(x),y2(x),y3(x))max( y_1(x), y_2(x), y_3(x))max(y1​(x),y2​(x),y3​(x))의 결과를 바탕으로 xxx의 Class 설정

◦

이때 각 선형 함수 yiy_iyi​는 서로 다른 함수임. 

◦

즉, 다중 분류에서는 Class 개수만큼 가중치 세트가 존재함.

•

위에서 정의한 분류 규칙이 유효하려면, 해당 규칙으로 설정된 경계는 모두 Class를 명확히 구분지을 수 있어야 함.

•

Class를 명확히 구분한다는 것은, 같은 Class 내의 두 데이터 사이에 존재하는 데이터 역시 동일 Class에 속해야 한다는 것을 의미함.

•

증명

•

K개의 Class를 분류하는 문제이며 주어진 데이터가 N개라고 할 때의 행렬 표현

\begin{bmatrix}y_{00} & \cdots & y_{0N} \\\vdots & \ddots & \vdots \\y_{K0} & \cdots & y_{KN}\end{bmatrix}=\begin{bmatrix}w_{0,0} & \cdots & w_{0,d} \\\vdots & \ddots & \vdots \\w_{K,0} & \cdots & w_{K,d}\end{bmatrix}\begin{bmatrix}x_0^0 & \cdots & x_0^N \\\vdots & \ddots & \vdots \\x_d^0 & \cdots & x_d^N\end{bmatrix}

•

Inference

◦

y^\hat yy^​ 행렬의 각 열에 대해 argmaxargmaxargmax 적용하여 분류 진행

•

각 Class를 표현하는 방법으로, i번째 Class를 나타내기 위해 i번째 원소를 1로 나머지를 0으로 하여 범주를 구분하는 방법

◦

Class를 표현하는 숫자들 사이의 연속성을 제거

•

예

◦

10개의 Class가 존재하는 경우, Class 5의 표현

[ 0, 0, 0, 0, 1, 0, 0, 0, 0, 0]

•

오차 정의

•

Squared-Error

•

선형식의 결과에 argmaxargmaxargmax를 적용하여 Class 번호를 찾았으므로, 확률값으로 Modeling 되지 않아 MLE 불가

•

LSM 사용 시 Error를 과장하며, 결정 경계가 왜곡되는 문제 발생 가능

•

선형 분류 → 로지스틱 회귀로 넘어갔던 아이디어와 동일하게, 선형식의 결과를 Sigmoid 함수에 입력하여 확률값을 얻는 것은?

◦

Class 각각에 대해 모두 높은 값을 출력하는 것이 가능함

•

Softmax

\text{Softmax}(z_i) = \frac{e^{z_i}}{\sum_{j=1}^{K} e^{z_j}}

◦

각 Class에 속할 확률을 모두 더하면 1이 되면서도, 각각의 Class에 속할 확률은 0~1 사이 값으로 Mapping 됨

◦

K=2K=2K=2 인  경우 로지스틱 회귀와 동일함

•

Softmax 함수에서 지수함수를 사용하는 이유

◦

선형 함수의 결과가 음수일 수 있으므로 지수함수를 사용하여 항상 양수를 출력하도록 함.

◦

선형 함수의 결과 값들 각각이 어떤 분포를 따르는지는 모르나, 자연계의 대부분의 분포가 지수족이므로 지수함수(exp)를 사용하면 기존의 확률분포로부터 확률 값을 얻는 것과 유사한 효과를 보임.

•

Softmax 함수를 통해 얻은 확률 값을 바탕으로 Cross Entropy를 목적함수로 하여 최적화 진행

•

최적화에는?

◦

편미분, 경사하강법..등등