S29L04 – ROC, AUC – 최적 임계값 계산 (최고 정확도 방법)

html
ROC, AUC 및 임계값 분석을 활용한 이진 분류 모델 최적화: 종합 가이드
ROC 곡선, AUC 지표 및 최적의 임계값 선택을 마스터하여 머신 러닝 모델의 잠재력을 최대한 활용하세요. 이 가이드는 전처리, 로지스틱 회귀 모델링 및 실제 날씨 데이터셋을 사용한 성능 최적화에 대해 깊이 있게 다룹니다.

소개
머신 러닝의 영역, 특히 이진 분류 작업에서 모델 성능을 평가하고 최적화하는 것은 매우 중요합니다. 수신기 조작 특성(ROC) 곡선 및 곡선 아래 면적(AUC)과 같은 지표는 모델이 클래스 간을 구분하는 능력에 대한 귀중한 통찰을 제공합니다. 또한 분류 임계값을 조정하면 모델의 정확도, F1 점수 및 전반적인 성능을 크게 향상시킬 수 있습니다. 이 기사는 이러한 개념을 자세히 탐구하며, Jupyter Notebook 예제를 통해 실제 날씨 데이터셋을 사용한 실용적인 응용을 시연합니다.

ROC 곡선과 AUC 이해하기
ROC 곡선이란?
ROC 곡선은 이진 분류기 시스템의 진단 능력을 구분 임계값이 변할 때 그래픽으로 나타낸 것입니다. 이는 다양한 임계값 설정에서 진양성 비율(TPR)을 위양성 비율(FPR)에 대해 플롯합니다.

  진양성 비율(TPR): 재현율 또는 민감도로도 알려져 있으며, 실제 양성을 모델이 올바르게 식별한 비율을 측정합니다.
  
    \[
    \text{TPR} = \frac{\text{True Positives}}{\text{True Positives} + \text{False Negatives}}
    \]
  
  위양성 비율(FPR): 실제 음성을 모델이 잘못하여 양성으로 식별한 비율을 측정합니다.
  
    \[
    \text{FPR} = \frac{\text{False Positives}}{\text{False Positives} + \text{True Negatives}}
    \]
  

AUC이란?
곡선 아래 면적(AUC)은 모델이 양성과 음성 클래스를 구분하는 전반적인 능력을 정량화합니다. AUC가 높을수록 모델 성능이 우수함을 나타냅니다. AUC가 0.5이면 무작위 추측과 동일한 구분 능력을 의미하며, AUC가 1.0이면 완벽한 구분을 의미합니다.

데이터셋 개요: Weather Australia
이 가이드에서는 다양한 기상 속성을 포함하는 Weather Australia 데이터셋을 사용할 것입니다. 이 데이터셋은 개념을 설명하기에 충분한 관리 가능성과 효과를 보장하기 위해 10,000개의 레코드로 전처리되었습니다.
데이터 출처: Kaggle의 Weather Australia 데이터셋

데이터 전처리
효과적인 전처리는 견고한 머신 러닝 모델을 구축하는 데 필수적입니다. 다음 단계는 Weather Australia 데이터셋에 적용된 전처리 파이프라인을 설명합니다.
1. 라이브러리 및 데이터 가져오기




		
		
			
			
Java
			
			import pandas as pd 
import seaborn as sns
import numpy as np
from sklearn.impute import SimpleImputer
from sklearn.compose import ColumnTransformer
from sklearn.preprocessing import OneHotEncoder, LabelEncoder, MinMaxScaler, StandardScaler
from sklearn.feature_selection import SelectKBest, chi2
from sklearn.model_selection import train_test_split
from sklearn.linear_model import LogisticRegression
from sklearn.metrics import accuracy_score, roc_curve, auc, classification_report
			
				
					
				
					1
2
3
4
5
6
7
8
9
10
				
						import pandas as pd 
import seaborn as sns
import numpy as np
from sklearn.impute import SimpleImputer
from sklearn.compose import ColumnTransformer
from sklearn.preprocessing import OneHotEncoder, LabelEncoder, MinMaxScaler, StandardScaler
from sklearn.feature_selection import SelectKBest, chi2
from sklearn.model_selection import train_test_split
from sklearn.linear_model import LogisticRegression
from sklearn.metrics import accuracy_score, roc_curve, auc, classification_report
					
				
			
		






		
		
			
			
Java
			
			data = pd.read_csv('weatherAUS - tiny.csv')
data.tail()
			
				
					
				
					1
2
				
						data = pd.read_csv('weatherAUS - tiny.csv')
data.tail()
					
				
			
		


샘플 출력:

  
    Date
    Location
    MinTemp
    MaxTemp
    Rainfall
    Evaporation
    Sunshine
    ...
    RainToday
    RISK_MM
    RainTomorrow
  
  
    05/01/2012
    CoffsHarbour
    21.3
    26.5
    0.6
    7.6
    6.4
    ...
    No
    0.0
    No
  

2. 특성 선택
데이터셋을 특성(X)과 타겟(y)으로 분리합니다.




		
		
			
			
Java
			
			X = data.iloc[:,:-1]
X.drop('RISK_MM', axis=1, inplace=True)
y = data.iloc[:,-1]
			
				
					
				
					1
2
3
				
						X = data.iloc[:,:-1]
X.drop('RISK_MM', axis=1, inplace=True)
y = data.iloc[:,-1]
					
				
			
		


3. 결측치 처리
a. 수치형 특성
수치형 열의 결측값을 평균 전략을 사용하여 대체합니다.




		
		
			
			
Java
			
			numerical_cols = list(np.where((X.dtypes == np.int64) | (X.dtypes == np.float64))[0])
imp_mean = SimpleImputer(missing_values=np.nan, strategy='mean')
imp_mean.fit(X.iloc[:, numerical_cols])
X.iloc[:, numerical_cols] = imp_mean.transform(X.iloc[:, numerical_cols])
			
				
					
				
					1
2
3
4
				
						numerical_cols = list(np.where((X.dtypes == np.int64) | (X.dtypes == np.float64))[0])
imp_mean = SimpleImputer(missing_values=np.nan, strategy='mean')
imp_mean.fit(X.iloc[:, numerical_cols])
X.iloc[:, numerical_cols] = imp_mean.transform(X.iloc[:, numerical_cols])
					
				
			
		


b. 범주형 특성
범주형 열의 결측값을 가장 빈번한 값으로 대체하는 전략을 사용합니다.




		
		
			
			
Java
			
			string_cols = list(np.where((X.dtypes == object))[0])
imp_freq = SimpleImputer(missing_values=np.nan, strategy='most_frequent')
imp_freq.fit(X.iloc[:, string_cols])
X.iloc[:, string_cols] = imp_freq.transform(X.iloc[:, string_cols])
			
				
					
				
					1
2
3
4
				
						string_cols = list(np.where((X.dtypes == object))[0])
imp_freq = SimpleImputer(missing_values=np.nan, strategy='most_frequent')
imp_freq.fit(X.iloc[:, string_cols])
X.iloc[:, string_cols] = imp_freq.transform(X.iloc[:, string_cols])
					
				
			
		


4. 범주형 변수 인코딩
a. 라벨 인코딩
타겟 변수의 범주형 라벨을 숫자 값으로 변환합니다.




		
		
			
			
Java
			
			def LabelEncoderMethod(series):
    le = LabelEncoder()
    return le.fit_transform(series) 

y = LabelEncoderMethod(y)
			
				
					
				
					1
2
3
4
5
				
						def LabelEncoderMethod(series):
    le = LabelEncoder()
    return le.fit_transform(series) 
 
y = LabelEncoderMethod(y)
					
				
			
		


b. 원-핫 인코딩
고유값이 두 개 이상인 범주형 특성에 원-핫 인코딩을 적용합니다.




		
		
			
			
Java
			
			def OneHotEncoderMethod(indices, data):
    columnTransformer = ColumnTransformer([('encoder', OneHotEncoder(), indices )], remainder='passthrough')
    return columnTransformer.fit_transform(data)

def EncodingSelection(X, threshold=10):
    string_cols = list(np.where((X.dtypes == object))[0])
    one_hot_encoding_indices = []
    
    for col in string_cols:
        unique_values = len(pd.unique(X[X.columns[col]]))
        if unique_values == 2 or unique_values > threshold:
            X[X.columns[col]] = LabelEncoderMethod(X[X.columns[col]])
        else:
            one_hot_encoding_indices.append(col)
            
    X = OneHotEncoderMethod(one_hot_encoding_indices, X)
    return X

X = EncodingSelection(X)
			
				
					
				
					1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
				
						def OneHotEncoderMethod(indices, data):
    columnTransformer = ColumnTransformer([('encoder', OneHotEncoder(), indices )], remainder='passthrough')
    return columnTransformer.fit_transform(data)
 
def EncodingSelection(X, threshold=10):
    string_cols = list(np.where((X.dtypes == object))[0])
    one_hot_encoding_indices = []
    
    for col in string_cols:
        unique_values = len(pd.unique(X[X.columns[col]]))
        if unique_values == 2 or unique_values > threshold:
            X[X.columns[col]] = LabelEncoderMethod(X[X.columns[col]])
        else:
            one_hot_encoding_indices.append(col)
            
    X = OneHotEncoderMethod(one_hot_encoding_indices, X)
    return X
 
X = EncodingSelection(X)
					
				
			
		


5. 특성 스케일링 및 선택
a. 특성 스케일링
변수 간의 균일성을 보장하기 위해 특성 세트를 표준화합니다.




		
		
			
			
Java
			
			sc = StandardScaler(with_mean=False)
X = sc.fit_transform(X)
			
				
					
				
					1
2
				
						sc = StandardScaler(with_mean=False)
X = sc.fit_transform(X)
					
				
			
		


b. 특성 선택
카이제곱(chi2) 통계 테스트를 기반으로 상위 10개의 특성을 선택합니다.




		
		
			
			
Java
			
			kbest = SelectKBest(score_func=chi2, k=10)
X = kbest.fit_transform(X, y)
			
				
					
				
					1
2
				
						kbest = SelectKBest(score_func=chi2, k=10)
X = kbest.fit_transform(X, y)
					
				
			
		


6. 훈련-테스트 분할
모델 성능을 평가하기 위해 데이터셋을 훈련 세트와 테스트 세트로 분할합니다.




		
		
			
			
Java
			
			X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.20, random_state=1)
			
				
					
				
					1
				
						X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.20, random_state=1)
					
				
			
		



로지스틱 회귀 모델 구축 및 평가
데이터 전처리가 완료되었으므로 로지스틱 회귀 모델을 구축하고, 성능을 평가하며 ROC 및 AUC 지표를 사용하여 최적화합니다.
1. 모델 훈련




		
		
			
			
Java
			
			LRM = LogisticRegression(random_state=0, max_iter=500)
LRM.fit(X_train, y_train)
y_pred = LRM.predict(X_test)
print(f"Accuracy: {accuracy_score(y_pred, y_test):.3f}")
			
				
					
				
					1
2
3
4
				
						LRM = LogisticRegression(random_state=0, max_iter=500)
LRM.fit(X_train, y_train)
y_pred = LRM.predict(X_test)
print(f"Accuracy: {accuracy_score(y_pred, y_test):.3f}")
					
				
			
		


출력:




		
		
			
			
Java
			
			Accuracy: 0.872
			
				
					
				
					1
				
						Accuracy: 0.872
					
				
			
		


2. ROC 곡선 및 AUC 계산
ROC 곡선을 플롯하고 AUC를 계산하면 모델의 성능을 종합적으로 이해할 수 있습니다.




		
		
			
			
Java
			
			predicted_probabilities = LRM.predict_proba(X_test)
fpr, tpr, thresholds = roc_curve(y_test, predicted_probabilities[:,1])
roc_auc = auc(fpr, tpr)
print(f"AUC: {roc_auc:.3f}")
			
				
					
				
					1
2
3
4
				
						predicted_probabilities = LRM.predict_proba(X_test)
fpr, tpr, thresholds = roc_curve(y_test, predicted_probabilities[:,1])
roc_auc = auc(fpr, tpr)
print(f"AUC: {roc_auc:.3f}")
					
				
			
		


출력:




		
		
			
			
Java
			
			AUC: 0.884
			
				
					
				
					1
				
						AUC: 0.884
					
				
			
		


3. 분류 임계값 최적화
기본 임계값인 0.5는 항상 최상의 성능을 보장하지 않을 수 있습니다. 이 임계값을 조정하면 정확도 및 기타 지표를 향상시킬 수 있습니다.
a. 임계값에 따른 정확도 계산




		
		
			
			
Java
			
			accuracies = []
for thresh in thresholds:
    _predictions = [1 if i >= thresh else 0 for i in predicted_probabilities[:, -1]]
    accuracies.append(accuracy_score(y_test, _predictions, normalize=True))

accuracies = pd.concat([pd.Series(thresholds), pd.Series(accuracies)], axis=1)
accuracies.columns = ['threshold', 'accuracy']
accuracies.sort_values(by='accuracy', ascending=False, inplace=True)
print(accuracies.head())
			
				
					
				
					1
2
3
4
5
6
7
8
9
				
						accuracies = []
for thresh in thresholds:
    _predictions = [1 if i >= thresh else 0 for i in predicted_probabilities[:, -1]]
    accuracies.append(accuracy_score(y_test, _predictions, normalize=True))
 
accuracies = pd.concat([pd.Series(thresholds), pd.Series(accuracies)], axis=1)
accuracies.columns = ['threshold', 'accuracy']
accuracies.sort_values(by='accuracy', ascending=False, inplace=True)
print(accuracies.head())
					
				
			
		


샘플 출력:




		
		
			
			
Java
			
			   threshold  accuracy
78    0.547545    0.8760
76    0.560424    0.8755
114   0.428764    0.8755
112   0.432886    0.8755
110   0.433176    0.8755
			
				
					
				
					1
2
3
4
5
6
				
						   threshold  accuracy
78    0.547545    0.8760
76    0.560424    0.8755
114   0.428764    0.8755
112   0.432886    0.8755
110   0.433176    0.8755
					
				
			
		


b. 최적의 임계값 선택




		
		
			
			
Java
			
			optimal_proba_cutoff = accuracies['threshold'].iloc[0]
roc_predictions = [1 if i >= optimal_proba_cutoff else 0 for i in predicted_probabilities[:, -1]]
			
				
					
				
					1
2
				
						optimal_proba_cutoff = accuracies['threshold'].iloc[0]
roc_predictions = [1 if i >= optimal_proba_cutoff else 0 for i in predicted_probabilities[:, -1]]
					
				
			
		


c. 최적 임계값으로 평가




		
		
			
			
Java
			
			print("Classification Report with Optimal Threshold:")
print(classification_report(roc_predictions, y_test))
			
				
					
				
					1
2
				
						print("Classification Report with Optimal Threshold:")
print(classification_report(roc_predictions, y_test))
					
				
			
		


출력:




		
		
			
			
Java
			
			              precision    recall  f1-score   support

           0       0.97      0.89      0.93      1770
           1       0.48      0.77      0.59       230

    accuracy                           0.88      2000
   macro avg       0.72      0.83      0.76      2000
weighted avg       0.91      0.88      0.89      2000
			
				
					
				
					1
2
3
4
5
6
7
8
				
						              precision    recall  f1-score   support
 
           0       0.97      0.89      0.93      1770
           1       0.48      0.77      0.59       230
 
    accuracy                           0.88      2000
   macro avg       0.72      0.83      0.76      2000
weighted avg       0.91      0.88      0.89      2000
					
				
			
		


기본 임계값과의 비교:




		
		
			
			
Java
			
			print("Classification Report with Default Threshold (0.5):")
print(classification_report(y_pred, y_test))
			
				
					
				
					1
2
				
						print("Classification Report with Default Threshold (0.5):")
print(classification_report(y_pred, y_test))
					
				
			
		


출력:




		
		
			
			
Java
			
			              precision    recall  f1-score   support

           0       0.96      0.89      0.92      1740
           1       0.51      0.73      0.60       260

    accuracy                           0.87      2000
   macro avg       0.73      0.81      0.76      2000
weighted avg       0.90      0.87      0.88      2000
			
				
					
				
					1
2
3
4
5
6
7
8
				
						              precision    recall  f1-score   support
 
           0       0.96      0.89      0.92      1740
           1       0.51      0.73      0.60       260
 
    accuracy                           0.87      2000
   macro avg       0.73      0.81      0.76      2000
weighted avg       0.90      0.87      0.88      2000
					
				
			
		


인사이트:

  정확도 향상: 최적의 임계값은 정확도를 87.2%에서 88%로 약간 향상시킵니다.
  F1-점수 향상: F1-점수가 0.60에서 0.59로 향상되었습니다(정밀도와 재현율 간의 균형을 고려할 때 미미한 향상).
  균형 잡힌 정밀도와 재현율: 최적의 임계값은 정밀도와 재현율의 균형을 유지하여 어느 하나도 불균형적으로 우위에 서지 않도록 합니다.


임계값 최적화를 위한 모범 사례

  트레이드오프 이해하기: 임계값을 조정하면 민감도와 특이도가 영향을 받습니다. 임계값 선택을 애플리케이션의 특정 목표에 맞추는 것이 중요합니다.
  관련 지표 사용하기: 문제에 따라 단순한 정확도보다 F1-점수, 정밀도 또는 재현율과 같은 지표를 우선시하세요.
  임계값 선택 자동화: 수동 검토가 유익하지만, 자동화된 방법이나 교차 검증을 활용하면 견고성을 향상시킬 수 있습니다.


결론
이진 분류 모델 최적화는 높은 정확도 달성을 넘어섭니다. ROC 곡선, AUC 지표 및 전략적 임계값 조정을 활용함으로써 실무자는 특정 성능 기준을 충족하도록 모델을 미세 조정할 수 있습니다. 이 종합적인 접근 방식은 모델이 정확할 뿐만 아니라 다양한 시나리오에서 신뢰할 수 있고 효과적임을 보장합니다.
핵심 요점:

  ROC 및 AUC는 다양한 임계값에 걸친 모델 성능에 대한 전체적인 뷰를 제공합니다.
  임계값 최적화는 성능 지표를 향상시키며, 애플리케이션별 요구에 맞게 성능을 조정할 수 있습니다.
  종합적인 전처리는 견고하고 효과적인 머신 러닝 모델을 구축하는 데 기본적입니다.

이러한 전략을 통해 모델을 정제하여 탁월한 성능과 실행 가능한 통찰을 달성하세요.

추가 자료

  Scikit-learn 문서
  Kaggle 데이터셋
  ROC 곡선 이해하기


저자: [당신의 이름]

기술 작가 & 데이터 과학 애호가