S22L02 – 균형 잡힌 데이터 vs 불균형 데이터

html
데이터 과학에서 데이터 균형: 불균형 데이터셋 vs. 균형 데이터셋 이해

목차

데이터 균형 소개
불균형 데이터 이해하기
균형 데이터 설명
데이터 불균형의 영향
데이터 균형을 맞추는 기법
나이브 베이즈와 불균형 데이터
실제 예제: 호주의 비 데이터셋
데이터 균형 관리 모범 사례
결론
참고문헌




데이터 균형 소개

데이터 과학에서 데이터 균형은 데이터셋 내 클래스 또는 범주의 균등한 분포를 의미합니다. 균형 잡힌 데이터셋은 각 클래스가 동일하게 표현되도록 보장하여 효과적이고 편향되지 않은 머신 러닝 모델을 훈련시키는 데 중요합니다. 반대로, 불균형 데이터셋은 일부 클래스가 다른 클래스보다 현저히 많은 경우를 말합니다.



불균형 데이터 이해하기

불균형 데이터는 서로 다른 클래스 간의 인스턴스 수가 크게 차이날 때 발생합니다. 예를 들어, 이진 분류 문제에서 한 클래스가 데이터의 90%를 차지하고 다른 클래스가 10%만을 차지할 수 있습니다. 이러한 불균형은 다수 클래스에 편향된 모델을 초래하여 소수 클래스를 무시하게 만들 수 있습니다.

불균형 데이터의 지표


클래스 분포: 클래스별 인스턴스 수에 큰 차이가 있음.
성능 지표: 모델이 주로 다수 클래스를 예측할 경우 높은 정확도가 오해를 불러일으킬 수 있음.
시각화: 클래스 비율이 불균등하게 나타나는 막대 그래프나 원형 차트.


예시:





		
		
			
			
Java
			
			import pandas as pd
import matplotlib.pyplot as plt

# 샘플 데이터
data = {'labels': ['No', 'Yes'], 'values': [110316, 31877]}
df = pd.DataFrame(data)

# 플로팅
df.plot.bar(x='labels', y='values', legend=False)
plt.title('Class Distribution')
plt.xlabel('Classes')
plt.ylabel('Number of Instances')
plt.show()
			
				
					
				
					1
2
3
4
5
6
7
8
9
10
11
12
13
				
						import pandas as pd
import matplotlib.pyplot as plt
 
# 샘플 데이터
data = {'labels': ['No', 'Yes'], 'values': [110316, 31877]}
df = pd.DataFrame(data)
 
# 플로팅
df.plot.bar(x='labels', y='values', legend=False)
plt.title('Class Distribution')
plt.xlabel('Classes')
plt.ylabel('Number of Instances')
plt.show()
					
				
			
		



위의 코드는 'No' 클래스와 'Yes' 클래스 간의 불균형을 보여주는 막대 차트를 생성합니다.



균형 데이터 설명

균형 데이터셋은 모든 클래스에서 인스턴스 수가 동일하거나 거의 동일하게 유지되도록 보장합니다. 이러한 균형은 편향 없이 모든 클래스를 정확하게 예측할 수 있는 모델을 훈련시키는 데 필수적입니다.

균형 데이터의 특성:


동일한 클래스 표현: 각 클래스가 유사한 수의 인스턴스를 가짐.
신뢰할 수 있는 성능 지표: 정밀도, 재현율, F1-점수와 같은 지표가 모델의 실제 성능을 더 잘 반영함.
향상된 모델 일반화: 균형 잡힌 데이터로 훈련된 모델은 보이지 않는 데이터에 대해 더 잘 일반화할 수 있음.


비교 예시:


약간 불균형:
  
    클래스 A: 55 인스턴스
    클래스 B: 65 인스턴스
    차이가 미미하여 종종 균형으로 간주됨.
  

심각하게 불균형:
  
    클래스 A: 15 인스턴스
    클래스 B: 25 인스턴스
    현저한 차이로 인해 잠재적인 모델 편향이 발생함.
  





데이터 불균형의 영향

데이터 불균형은 머신 러닝 모델에 여러 가지 부정적인 영향을 미칠 수 있습니다:


다수 클래스에 대한 편향: 모델이 다수 클래스를 주로 예측하여 소수 클래스를 무시할 수 있음.
일반화 성능 저하: 모델이 특히 소수 클래스에 대해 보이지 않는 데이터에 잘 일반화하지 못할 수 있음.
오해의 소지가 있는 정확도: 단순히 다수 클래스를 예측함으로써 높은 정확도를 달성할 수 있으나 실제 패턴을 이해하지 못할 수 있음.


실제 시나리오:

의료 진단에서 데이터셋의 99%가 건강한 개인을 나타내고 1%만이 질병을 가진 경우, 모델은 모든 환자를 건강한 것으로 부정확하게 예측하여 중요한 소수 클래스를 무시할 수 있습니다.



데이터 균형을 맞추는 기법

데이터 불균형을 해결하기 위해서는 크게 재샘플링 방법과 알고리즘 접근 방식으로 분류되는 여러 기법을 사용할 수 있습니다.

1. 재샘플링 방법

a. 소수 클래스 오버샘플링
합성 소수 오버샘플링 기법 (SMOTE): 기존 소수 클래스 인스턴스 간의 보간을 통해 합성 샘플을 생성합니다.





		
		
			
			
Java
			
			from imblearn.over_sampling import SMOTE
smote = SMOTE()
X_resampled, y_resampled = smote.fit_resample(X, y)
			
				
					
				
					1
2
3
				
						from imblearn.over_sampling import SMOTE
smote = SMOTE()
X_resampled, y_resampled = smote.fit_resample(X, y)
					
				
			
		



b. 다수 클래스 언더샘플링
다수 클래스의 인스턴스 수를 소수 클래스에 맞추어 줄입니다.





		
		
			
			
Java
			
			from imblearn.under_sampling import RandomUnderSampler
rus = RandomUnderSampler()
X_resampled, y_resampled = rus.fit_resample(X, y)
			
				
					
				
					1
2
3
				
						from imblearn.under_sampling import RandomUnderSampler
rus = RandomUnderSampler()
X_resampled, y_resampled = rus.fit_resample(X, y)
					
				
			
		



c. 오버샘플링과 언더샘플링의 조합
소수 클래스 인스턴스를 늘리고 다수 클래스 인스턴스를 줄여 클래스의 균형을 맞춥니다.

2. 알고리즘 접근 방식

a. 비용 민감 학습
소수 클래스에 대한 오분류 비용을 높게 설정하여 모델이 소수 클래스에 더 많은 주의를 기울이도록 합니다.

b. 앙상블 방법
배깅 및 부스팅과 같은 기법은 불균형 데이터셋을 효과적으로 처리하도록 조정될 수 있습니다.



나이브 베이즈와 불균형 데이터

나이브 베이즈 분류기는 베이즈 정리를 기반으로 한 확률 모델로, 특성의 독립성을 가정합니다. 그 내재된 장점 중 하나는 클래스의 사전 확률을 고려하여 불균형 데이터셋을 처리할 수 있는 능력입니다.

불균형 시나리오에서 나이브 베이즈의 장점:


사전 확률 처리: 데이터셋이 불균형해도 나이브 베이즈는 각 클래스의 가능성을 통합하여 다수 클래스에 대한 편향을 완화합니다.
단순성과 효율성: 계산 능력이 적게 필요하여 클래스 불균형이 있는 대규모 데이터셋에 적합합니다.


주의 사항:

나이브 베이즈는 일부 모델보다 불균형을 더 잘 처리하지만, 극단적인 불균형(예: 99.9% vs. 0.1%)은 여전히 도전 과제가 될 수 있으며, 소수 클래스에 대해 합성 데이터를 생성할 때 과적합을 초래할 수 있습니다.



실제 예제: 호주의 비 데이터셋

호주의 비 데이터셋을 사용하여 데이터 불균형을 이해하고 이를 해결하는 방법을 살펴보겠습니다.

데이터셋 개요


출처: Kaggle - Weather Dataset Rattle Package
특징: 다양한 날씨 관련 속성을 포함합니다.
타겟 변수: RainTomorrow (Yes/No)


클래스 분포 분석





		
		
			
			
Java
			
			import pandas as pd
import matplotlib.pyplot as plt

# 데이터셋 로드
data = pd.read_csv('weatherAUS.csv')

# 특징과 타겟 분리
X = data.iloc[:, :-1]
y = data.iloc[:, -1]

# 각 클래스의 수
count = y.value_counts()

# 플로팅
count.plot.bar()
plt.title('RainTomorrow Class Distribution')
plt.xlabel('Classes')
plt.ylabel('Number of Instances')
plt.show()
			
				
					
				
					1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
				
						import pandas as pd
import matplotlib.pyplot as plt
 
# 데이터셋 로드
data = pd.read_csv('weatherAUS.csv')
 
# 특징과 타겟 분리
X = data.iloc[:, :-1]
y = data.iloc[:, -1]
 
# 각 클래스의 수
count = y.value_counts()
 
# 플로팅
count.plot.bar()
plt.title('RainTomorrow Class Distribution')
plt.xlabel('Classes')
plt.ylabel('Number of Instances')
plt.show()
					
				
			
		



막대 차트는 'No' 클래스(110,316 인스턴스)가 'Yes' 클래스(31,877 인스턴스)를 크게 앞지르는 불균형을 나타냅니다.

데이터셋 불균형 처리

불균형을 고려하여 SMOTE나 언더샘플링과 같은 기법을 적용하여 균형 잡힌 데이터셋을 생성하는 것이 중요합니다. 이를 통해 이 데이터로 훈련된 머신 러닝 모델이 편향되지 않고 모든 클래스에서 최적의 성능을 발휘할 수 있습니다.



데이터 균형 관리 모범 사례


데이터 이해하기:
  
    탐색적 데이터 분석(EDA)을 수행하여 클래스 분포를 시각화하고 이해합니다.
    불균형의 정도와 모델 성능에 미칠 잠재적 영향을 식별합니다.
  

적절한 기법 선택:
  
    데이터셋의 크기와 문제의 성격에 따라 재샘플링 방법을 신중하게 적용합니다.
    필요에 따라 최적의 균형을 달성하기 위해 여러 기법을 결합합니다.
  

적합한 지표로 평가:
  
    정확도에만 의존하지 않고 정밀도, 재현율, F1-점수, ROC-AUC와 같은 지표를 사용합니다.
    이러한 지표는 특히 소수 클래스에서 모델 성능을 더 잘 이해할 수 있게 해줍니다.
  

과적합 방지:
  
    특히 합성 방법을 사용하여 오버샘플링할 때, 모델이 소수 클래스에 과적합되지 않도록 합니다.
    교차 검증을 통해 모델의 일반화 능력을 평가할 수 있습니다.
  

도메인 지식 활용:
  
    클래스 분포와 각 클래스의 중요성에 대한 통찰을 통합하여 정보에 입각한 결정을 내립니다.
  





결론

데이터 균형 맞추기는 데이터 전처리 파이프라인에서 기본적인 단계로, 머신 러닝 모델의 성능과 신뢰성에 크게 영향을 미칩니다. 불균형과 균형 데이터셋의 미묘한 차이를 이해하고 효과적인 균형 맞춤 기법을 적용함으로써 데이터 과학자들은 정확하고 공정한 모델을 구축할 수 있습니다. 나이브 베이즈와 같은 도구는 불균형 데이터를 처리하는 데 내재된 장점을 제공하지만, 탐색적 데이터 분석(EDA), 신중한 재샘플링, 꼼꼼한 평가를 포함하는 포괄적인 접근 방식이 실제 데이터 과학 프로젝트의 성공을 위해 여전히 필수적입니다.



참고문헌


Kaggle - Weather Dataset Rattle Package
Imbalanced-learn Documentation
Understanding Imbalanced Classification




이러한 원칙을 준수하고 올바른 도구를 활용함으로써 데이터 과학자들은 데이터 불균형으로 인한 도전을 능숙하게 극복하여 견고하고 편향되지 않은 모델 결과를 보장할 수 있습니다.