🗃️

Dimensionality Reduction

생성일

2025/03/25 18:05

태그

데이터마이닝

작성자

Introduction

•

변수의 수가 늘어나는 경우

◦

범주형 변수에 대한 가변수 작성

◦

변수 변환 (ex. log 변환 등.)

⇒ 변수 사이에 높은 상관관계를 가질 가능성이 커지며, 이는 과적합 현상의 원인이 된다.

차원의 저주

•

모델의 차원

◦

모델이 사용한 독립 변수의 개수

•

차원의 저주

◦

다변량 데이터 모델에 변수를 추가함으로써 야기되는 문제

◦

변수가 추가됨에 따라 데이터 공간이 줄어들고, 이에 따라 분류/예측 모델을 구하는 것이 어려워진다.

▪

예를 들어 어떤 2차원 공간에서 특정 두 점은 매우 가깝고 다른 점과의 거리는 상당히 멀 수 있다. 그러나 이것을 100차원 공간으로 확장한다면 모든 점이 비슷하게 멀어지는 형태를 이루게 될 것이다. 이는 더 이상 거리를 기반으로 유사성을 판단하기 어렵게 만드는 원인이 된다.

⇒ 정확도의 희생을 최소로 하여 독립 변수의 차원을 축소하는 방법을 찾는 것이 중요하다.

데이터 요약

•

통계랑 확인

◦

데이터에 대한 수치적 요약은 데이터 축약에서 중요한 정보를 제공한다.

import numpy as np
import pandas as pd
from sklearn import preprocessing
import matplotlib.pylab as plt

df = pd.read_csv('dmba/BostonHousing.csv')
df = df.rename(columns={'CAT. MEDV':'CAT_MEDV'})

# 모든 변수의 개요
# 관측치 개수, 평균, 표준 편차, 최솟값, 최댓값, 사분위 수 제공
df.describe() 

# 극단값 검출
m = df.CRIM.min()
M = df.CRIM.max()

# 변수의 중심값에 대한 정보 제공
# 평균과 중앙값 간의 편차가 크다 = 데이터가 치우쳐져 있다
# ex. 평균 > 중앙값 : 오른쪽으로 꼬리가 긴 분포
med = df.CRIM.median()
mea = df.CRIM.mean()

# 데이터가 퍼진 정도에 대한 정보 -> 표준편차
std_ = df.CRIM.std()

# 결측치 정보
n = df.CRIM.isnull().sum()

print('Max:', M, 'Min:', m , 'Median:', med, 'Mean:', mea, 'Std:', std_, 'Null:', n  )
Python
복사

•

상관계수

◦

두 변수 사이의 상관 여부를 파악하기 위해 상관 계수를 확인한다.

•

Pivot Table을 통한 데이터 탐색

◦

이진 분류 문제에서 클래스 구별에 필수적인 변수를 파악하고자 할 때 유용하다.

▪

예를 들어, 어떤 변수의 평균 값이 두 개의 클래스에 따라 크게 다르다면 그 변수는 중요한 변수일 가능성이 높다.

# groupby() 이용
# 지역당 평균 방의 개수를 구간 별로 나눔
df['RM_bin'] = pd.cut(df.RM, range(0,10), labels=False)

# 찰스 강 경계, 구간화된 평균 방의 개수의 조합으로 그룹을 나누고
# 각 그룹에서 주택 가격의 중앙값의 평균을 확인
df.groupby(['RM_bin','CHAS'])['MEDV'].mean()
Python
복사

# pivot_table() 이용
# margins=True의 의미: 피벗테이블의 마지막 행과 마지막 열에 'All' 이라는 이름으로 전체 요약 값을 추가

pd.pivot_table(df, values='MEDV', index=['RM_bin'], columns=['CHAS'], aggfunc=np.mean, margins=True)
Python
복사

상관분석

•

상관 행렬

◦

주어진 모든 변수의 쌍으로부터 구한 상관계수를 보여준다.

◦

매우 강한 상관관계가 있는 변수 쌍은 정보의 많은 부분이 겹치므로, 하나를 제거하여 축소 가능하다.

▪

다중 공선성 문제 해결 가능

▪

주의할 점 : 상관계수는 두 변수 사이의 선형 관계의 여부만을 판단한다. 따라서 상관계수가 0에 가깝다는 것은 두 변수 사이의 선형 관계가 존재하지 않는다는 것이지, 이것이 두 변수가 서로 연관이 아예 없음을 의미하지는 않는다.

df.corr().round(2)
Python
복사

범주형 변수의 범주 개수 축소

•

가변수 변환

◦

범주형 변수가 독립 변수인 경우 이를 가변수로 변환한다.

◦

이때 각 변수의 범주의 개수가 많다면, 변수의 개수가 늘어나게 된다.

▪

예를 들어 m개의 범주를 가진 변수의 경우 가변수 변환을 거친 이후 변수의 개수는 m-1개가 모델에 사용된다.

◦

유사한 범주를 하나로 합침으로써 범주의 수를 줄일 수 있다.

▪

Pivot-table을 사용하여 다양한 범주에서 종속 변수가 어떻게 반응하는지를 파악하여 범주를 줄일 수 있다.

▪

또는 관측치 개수가 적은 범주들을 ‘기타’ 범주로 통합하는 것도 가능하다.

▪

이진 분류 문제에서, 독립 변수의 각 범주에 대한 종속 변수의 분포를 파악하여 분류에 영향을 주지 않는 범주를 파악하여 하나의 범주로 결합할 수 있다.

•

시계열 분석

◦

각 분기가 독립 변수인 경우, 유사한 결과를 가져오는 분기를 통합할 수 있다.

▪

예를 들어, 1~3분기 실적은 매년 유사하지만 4분기 실적에서는 차이를 보이는 경우 1~3분기를 하나의 변수로 통합할 수 있다.

•

수치형 변수 변환

◦

구간을 나타내는 범주인 경우 범주형 값을 구간의 중간값으로 대체하여 가변수 변환 없이 사용할 수 있다.

▪

만약 가변수 변환을 한다면 범주수-1개의 변수가 모델에 사용되지만, 이 경우 변수를 1개만 사용하게 된다.

PCA(Principal Component Analysis)

•

PCA

◦

데이터 분포를 가장 잘 설명할 수 있는 축, 분산이 최대가 되는 축을 찾는 것

◦

데이터의 분산이 크다는 것은, 그 방향으로 데이터가 많이 퍼져 있다는 것

▪

이는 해당 축을 바탕으로 데이터를 파악한다면 더 많은 정보를 파악할 수 있다는 의미

▪

예를 들어, 어떤 방향에서 모든 데이터가 거의 한 점에 몰려 있다면, 그 축은 데이터의 변별력이 없다는 것이다.

▪

반면에 어떤 축에서는 데이터가 쫙 퍼져 있다면 그 방향으로 보면 데이터 간 차이가 더 뚜렷하게 나타난다.

◦

그래서 PCA는 데이터가 가장 잘 퍼져 있는 축(=분산이 큰 축) 을 찾는 것을 목적으로 한다.

▪

전체 변동에 각 변수가 미치는 기여도를 최대한 활용하면서도 변수의 수를 축소하는 방식이라고 해석하는 것도 가능하다.

◦

일반적인 PCA와 Kernel PCA가 존재함.

◦

연속적인 잠재 변수(latent variable)에 대해 사용

•

Latent variable

◦

각 데이터에 대해 할당되어있는 데이터를 표현하는 알려지지 않은 변수

◦

PCA에서는 각 데이터 포인트를 몇 개의 잠재적인 연속 변수(latent continuous variables)의 조합으로 표현

◦

각 주성분 축 (principal component axis)은 고정된 방향 벡터

◦

PCA는 이 축들을 따라 데이터를 투영해서, 각 데이터가 이 축 위에서 얼마만큼의 값을 가지는지(=좌표)를 계산

◦

여기서 좌표 값들은 연속적인 실수 값이기 때문에, 결국 각 데이터 포인트는 연속적인 실수값들을 갖는 잠재변수의 조합으로 표현됨

•

목적: 데이터의 분산이 최대화 되는 축을 찾는다 

◦

투사한 데이터가 분산이 최대가 되도록하는 축을 찾는 것

◦

아래 그림에서 각 데이터를 uuu 벡터로 투사했을 때 xsx_sxs​ 들의 분산이 최대가 되어야 한다 (2차원 ⇒ 1차원 축소)

•

내적 = Projection

◦

기하학적 정의 : a⋅b=∣a∣∣b∣cos(θ)a \cdot b = |a| |b| cos(\theta)a⋅b=∣a∣∣b∣cos(θ)

◦

p=∣x∣=∣b∣cos(θ)p = |x| = |b|cos(\theta)p=∣x∣=∣b∣cos(θ)

◦

x=∣b∣cos(θ)a∣a∣=a⋅ba∣a∣2x = |b|cos(\theta) \frac  {a}{|a|} = a \cdot b \frac {a}{|a|^2}x=∣b∣cos(θ)∣a∣a​=a⋅b∣a∣2a​

▪

투사된 벡터 xxx는 내적의 크기만큼 단위 벡터를 이동시킨 벡터이다.

•

분산을 최대화 시키는 것의 수식화

◦

데이터의 분산-공분산 행렬 구하기

◦

어떤 벡터 u1u_1u1​으로 투사 후의 분산을 최대화

⇒ 결과적으로

Su_1 = \lambda_1 u_1

을 만족하는

u_1

을 찾는 문제이며, 고윳값 분해(Eigenvalue Decomposition)을 통해 풀이할 수 있다.

•

고윳값 분해(Eigenvalue Decomposition)

A: n \times n

(정사각행렬) 이고 벡터

v

가

Av = \lambda v

를 만족하며 영벡터가 아니라면,

v

는 고유벡터(Eigen-vector)

\lambda

는 고윳값(Eigen-value)이라 한다.

•

고윳값 분해의 기하학

◦

행렬 A를 이용한 어떤 벡터의 변환이 고윳값을 통해 이 벡터를 스케일링한 것과 같다. 다시 말해, 선형 변환을 하더라도 본인의 방향으로 돌아오도록 만드는 벡터를 말하며 이를 고유 벡터라고 한다.

•

고윳값 분해의 계산 과정

•

고윳값 분해 예제

•

결론

◦

분산을 최대로 하는 축(벡터)는 분산-공분산 행렬의 고유벡터이므로, PCA는 분산-공분산 행렬의 고윳값 분해를 통해 얻은 고유벡터 중 일부를 사용해(고유값이 큰 순서대로 고유벡터를 선택) 차원을 축소한다. 

◦

고윳값은 분산의 크기를 나타내기 때문에, 정보 보존의 측면에서 이를 기준으로 고유벡터를 선택한다.

•

발전

◦

Kernel을 사용한 Kernel PCA도 존재하나, Kernel Method에 대해 다룬 이후 정리하도록 하겠다.

•

주성분 점수(새로운 좌표)

◦

PCA에서는 분산이 가장 큰 방향(=고유벡터, 주성분 축)을 찾은 후, 각 데이터를 해당 축에 사영(projection) 해서 새로운 좌표(=주성분 점수)를 구한다.

◦

이때, 데이터의 분산 방향을 올바르게 파악하기 위해 각 데이터에서 평균을 먼저 뺀 후, 고유벡터와 내적하여 주성분 점수를 계산한다.

◦

새로운 축에서의 좌표 (주성분 점수) :  z(n)=u⊤(x(n)−xˉ)z^{(n)} = \mathbf{u}^\top (\mathbf{x}^{(n)} - \bar{\mathbf{x}})z(n)=u⊤(x(n)−xˉ)

◦

새롭게 생성된 주성분들은 서로 상관되어 있지 않으므로, 새로운 축으로 사영한 데이터를 활용하여 회귀 모델을 만들면, 다중 공선성 문제에서 자유로울 수 있다.

from sklearn.decomposition import PCA
import pandas as pd

cereal = pd.read_csv('dmba/Cereals.csv')
pcs = PCA(n_components=2)
pcs.fit(cereal[['calories','rating']]) # 2개의 변수로 PCA 수행
pcs.fit(cereal.iloc[:,3:].dropna(axis=0)) # 전체 수치형 변수로 PCA, 열에서 결측치 제거

pcs.components_ # 새로운 축(벡터)

score = pcs.transform(cereal[['calories','rating']]) # 사영
Python
복사

•

데이터 정규화

◦

원래의 변수가 서로 다른 단위로 측정되었다면, 주성분 구성에 있어 해당 변수의 영향이 커질 수 있다.

◦

따라서  PCA를  수행하기 전 데이터를 정규화하는 것이 필요하다.

◦

정규화된 데이터에서의 가중치(고유벡터의 성분)는 해당 주성분에 어떤 변수가 미치는 영향력을 나타낸다.