Python에서 CAP 곡선을 사용한 모델 비교 마스터하기: 종합 가이드
빠르게 진화하는 머신러닝 분야에서 데이터셋에 가장 적합한 모델을 선택하는 것은 매우 중요합니다. 수많은 알고리즘이 존재하는 가운데, 어떤 알고리즘이 진정으로 뛰어난지를 판단하는 것은 어려울 수 있습니다. 이때 누적 정확도 프로파일(CAP) 곡선이 등장합니다—여러 모델을 비교하는 과정을 단순화하는 강력한 도구입니다. 이 종합 가이드에서는 CAP 곡선에 대해 깊이 있게 탐구하고, Python에서 이를 구현하는 방법을 시연하며, 이진 및 다중 클래스 분류 시나리오 모두에서의 효과를 보여드릴 것입니다. 데이터 애호가이든 경험 많은 실무자이든 관계없이, 이 기사는 모델 평가 기법을 향상시키는 데 필요한 지식을 제공할 것입니다.
목차
CAP 곡선 이해하기
누적 정확도 프로파일(CAP) 곡선은 분류 모델의 성능을 평가하는 데 사용되는 그래픽 도구입니다. 이는 무작위 모델에 비해 모델이 긍정 사례를 식별하는 능력을 시각적으로 나타냅니다. 누적 올바르게 예측된 긍정 사례 수를 전체 관측치 수에 대해 플롯함으로써, CAP 곡선은 다양한 모델의 효율성을 평가하고 비교하는 데 도움을 줍니다.
왜 CAP 곡선을 사용할까?
- 직관적인 시각화: 모델 간의 명확한 시각적 비교를 제공합니다.
- 성능 지표: 긍정 사례 식별에서의 차이를 강조합니다.
- 다재다능성: 이진 분류 및 다중 클래스 분류 문제 모두에 적용 가능합니다.
환경 설정
CAP 곡선을 다루기 전에, 필요한 라이브러리가 설치된 Python 환경을 설정해야 합니다. 여기서는 pandas, numpy, scikit-learn, matplotlib, xgboost와 같은 라이브러리를 사용할 것입니다.
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 |
import pandas as pd import numpy as np import seaborn as sns import matplotlib.pyplot as plt from sklearn.model_selection import train_test_split from sklearn.preprocessing import (LabelEncoder, OneHotEncoder, StandardScaler, MinMaxScaler) from sklearn.impute import SimpleImputer from sklearn.feature_selection import SelectKBest, chi2 from sklearn.metrics import accuracy_score from sklearn.neighbors import KNeighborsClassifier from sklearn.linear_model import LogisticRegression from sklearn.naive_bayes import GaussianNB from sklearn.svm import SVC from sklearn.tree import DecisionTreeClassifier from sklearn.ensemble import RandomForestClassifier, AdaBoostClassifier import xgboost as xgb |
데이터 전처리
데이터 전처리는 머신러닝 워크플로우에서 중요한 단계입니다. 이는 데이터가 깨끗하고 잘 구조화되어 있으며 모델링에 적합한지 확인합니다.
결측 데이터 처리
결측 데이터는 결과를 왜곡하고 모델 정확도를 저하시킬 수 있습니다. 다음은 숫자형 및 범주형 결측치를 처리하는 방법입니다:
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 |
# 숫자형 열에 대한 처리 import numpy as np from sklearn.impute import SimpleImputer imp_mean = SimpleImputer(missing_values=np.nan, strategy='mean') numerical_cols = X.select_dtypes(include=['int64', 'float64']).columns imp_mean.fit(X[numerical_cols]) X[numerical_cols] = imp_mean.transform(X[numerical_cols]) # 범주형 열에 대한 처리 from sklearn.impute import SimpleImputer imp_mode = SimpleImputer(missing_values=np.nan, strategy='most_frequent') categorical_cols = X.select_dtypes(include=['object']).columns imp_mode.fit(X[categorical_cols]) X[categorical_cols] = imp_mode.transform(X[categorical_cols]) |
범주형 변수 인코딩
대부분의 머신러닝 알고리즘은 숫자형 입력을 필요로 합니다. 인코딩은 범주형 변수를 숫자형 형식으로 변환하는 과정입니다.
원-핫 인코딩
두 개 이상의 범주를 가진 변수에 적합합니다.
|
1 2 3 4 5 6 7 8 |
from sklearn.compose import ColumnTransformer from sklearn.preprocessing import OneHotEncoder def OneHotEncoderMethod(indices, data): columnTransformer = ColumnTransformer([('encoder', OneHotEncoder(), indices)], remainder='passthrough') return columnTransformer.fit_transform(data) X = OneHotEncoderMethod(categorical_cols, X) |
라벨 인코딩
두 개의 범주를 가진 범주형 변수 또는 원-핫 인코딩이 비현실적인 많은 범주를 가진 변수에 적합합니다.
|
1 2 3 4 5 6 7 8 9 |
from sklearn import preprocessing def LabelEncoderMethod(series): le = preprocessing.LabelEncoder() le.fit(series) return le.transform(series) # 대상 변수에 라벨 인코딩 적용 y = LabelEncoderMethod(y) |
특징 선택
특징 선택은 과적합을 줄이고 정확도를 향상시키며 훈련 시간을 단축하는 데 도움이 됩니다.
|
1 2 3 4 5 6 7 8 9 10 11 12 |
from sklearn.feature_selection import SelectKBest, chi2 from sklearn import preprocessing # 특징 스케일링 scaler = preprocessing.MinMaxScaler() X_scaled = scaler.fit_transform(X) # 카이제곱 검정을 기반으로 상위 5개 특징 선택 kbest = SelectKBest(score_func=chi2, k=5) kbest.fit(X_scaled, y) best_features = kbest.get_support(indices=True) X = X[:, best_features] |
특징 스케일링
스케일링은 모든 특징이 모델 훈련에 동등하게 기여하도록 보장합니다.
|
1 2 3 4 |
from sklearn.preprocessing import StandardScaler sc = StandardScaler(with_mean=False) X = sc.fit_transform(X) |
모델 구축 및 평가
전처리된 데이터를 사용하여 다양한 분류 모델을 구축하고 그 성능을 평가할 차례입니다.
K-최근접 이웃(KNN)
|
1 2 3 4 5 6 7 |
from sklearn.neighbors import KNeighborsClassifier knnClassifier = KNeighborsClassifier(n_neighbors=3) knnClassifier.fit(X_train, y_train) y_pred_knn = knnClassifier.predict(X_test) accuracy_knn = accuracy_score(y_pred_knn, y_test) print(f'KNN Accuracy: {accuracy_knn}') |
로지스틱 회귀
|
1 2 3 4 5 6 7 |
from sklearn.linear_model import LogisticRegression logreg = LogisticRegression(random_state=0, max_iter=200) logreg.fit(X_train, y_train) y_pred_logreg = logreg.predict(X_test) accuracy_logreg = accuracy_score(y_pred_logreg, y_test) print(f'Logistic Regression Accuracy: {accuracy_logreg}') |
참고: ConvergenceWarning이 발생할 수 있습니다. 이를 해결하려면 max_iter를 늘리거나 다른 솔버를 선택하십시오.
가우시안 나이브 베이즈
|
1 2 3 4 5 6 7 |
from sklearn.naive_bayes import GaussianNB gnb = GaussianNB() gnb.fit(X_train, y_train) y_pred_gnb = gnb.predict(X_test) accuracy_gnb = accuracy_score(y_pred_gnb, y_test) print(f'Gaussian Naive Bayes Accuracy: {accuracy_gnb}') |
서포트 벡터 머신(SVM)
|
1 2 3 4 5 6 7 |
from sklearn.svm import SVC svc = SVC() svc.fit(X_train, y_train) y_pred_svc = svc.predict(X_test) accuracy_svc = accuracy_score(y_pred_svc, y_test) print(f'SVM Accuracy: {accuracy_svc}') |
의사결정 나무
|
1 2 3 4 5 6 7 |
from sklearn.tree import DecisionTreeClassifier dtc = DecisionTreeClassifier() dtc.fit(X_train, y_train) y_pred_dtc = dtc.predict(X_test) accuracy_dtc = accuracy_score(y_pred_dtc, y_test) print(f'Decision Tree Accuracy: {accuracy_dtc}') |
랜덤 포레스트
|
1 2 3 4 5 6 7 |
from sklearn.ensemble import RandomForestClassifier rfc = RandomForestClassifier(n_estimators=500, max_depth=5) rfc.fit(X_train, y_train) y_pred_rfc = rfc.predict(X_test) accuracy_rfc = accuracy_score(y_pred_rfc, y_test) print(f'Random Forest Accuracy: {accuracy_rfc}') |
AdaBoost
|
1 2 3 4 5 6 7 |
from sklearn.ensemble import AdaBoostClassifier abc = AdaBoostClassifier() abc.fit(X_train, y_train) y_pred_abc = abc.predict(X_test) accuracy_abc = accuracy_score(y_pred_abc, y_test) print(f'AdaBoost Accuracy: {accuracy_abc}') |
XGBoost
|
1 2 3 4 5 6 7 |
import xgboost as xgb xgb_classifier = xgb.XGBClassifier(use_label_encoder=False, eval_metric='mlogloss') xgb_classifier.fit(X_train, y_train) y_pred_xgb = xgb_classifier.predict(X_test) accuracy_xgb = accuracy_score(y_pred_xgb, y_test) print(f'XGBoost Accuracy: {accuracy_xgb}') |
참고: XGBoost는 라벨 인코딩 및 평가 지표와 관련된 경고를 표시할 수 있습니다. 위와 같이 매개변수를 조정하여 경고를 억제하십시오.
CAP 곡선 생성
CAP 곡선은 다양한 모델의 성능을 시각적으로 비교할 수 있는 수단을 제공합니다. 다음은 이를 생성하는 방법입니다:
CAP 생성 함수 정의
|
1 2 3 4 5 6 7 8 9 10 11 12 |
def CAP_gen(model, X_test, y_test): pred = model.predict(X_test) _ = sorted(zip(pred, y_test), reverse=True) _cap = [] for p, o in _: if p == o: _cap.append(p) else: _cap.append(o) y_values = np.append([0], np.cumsum(_cap)) x_values = np.arange(0, len(y_test) + 1) return x_values, y_values |
CAP 곡선 플로팅
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 |
import matplotlib.pyplot as plt total = len(y_test) sum_count = np.sum(y_test) plt.figure(figsize=(10, 6)) # GaussianNB에 대한 CAP 생성 x_gnb, y_gnb = CAP_gen(gnb, X_test, y_test) plt.plot(x_gnb, y_gnb, linewidth=3, label='GaussianNB') # XGBoost에 대한 CAP 생성 x_xgb, y_xgb = CAP_gen(xgb_classifier, X_test, y_test) plt.plot(x_xgb, y_xgb, linewidth=3, label='XGBoost') # 선택 사항: 더 많은 모델 추가 # x_abc, y_abc = CAP_gen(abc, X_test, y_test) # plt.plot(x_abc, y_abc, linewidth=3, label='AdaBoost') # x_rfc, y_rfc = CAP_gen(rfc, X_test, y_test) # plt.plot(x_rfc, y_rfc, linewidth=3, label='Random Forest') # 무작위 모델 선 plt.plot([0, total], [0, sum_count], linestyle='--', label='Random Model') # 플롯 미학 plt.xlabel('총 관측치', fontsize=16) plt.ylabel('CAP 값', fontsize=16) plt.title('누적 정확도 프로파일', fontsize=16) plt.legend(loc='lower right', fontsize=16) plt.show() |
CAP 곡선 해석
- 대각선 선: 무작위 모델을 나타냅니다. 좋은 모델은 이 선 위에 있어야 합니다.
- 모델 곡선: 좌상단 모서리에 가까운 곡선일수록 성능이 좋은 모델을 나타냅니다.
- 곡선 아래 면적(AUC): AUC가 높을수록 성능이 우수함을 의미합니다.
CAP 곡선을 활용한 다중 클래스 분류
CAP 곡선은 전통적으로 이진 분류에 사용되지만, 다중 클래스 문제에도 적응할 수 있습니다. 다음은 벵갈리 음악 장르 데이터셋(bangla.csv)을 사용하여 다중 클래스 환경에서 CAP 곡선을 구현하는 방법입니다.
데이터 개요
bangla.csv 데이터셋은 다양한 오디오 특성을 나타내는 31개의 특징과 음악 장르를 나타내는 대상 변수 label로 구성되어 있습니다. 장르는 rabindra, adhunik 등 다양한 범주를 포함합니다.
전처리 단계
전처리 단계는 이진 분류와 크게 유사하며, 다중 클래스 대상 변수 인코딩에 중점을 둡니다.
|
1 2 3 4 |
# 다중 클래스 대상에 대한 라벨 인코딩 y = LabelEncoderMethod(y) # 이전과 같이 인코딩 선택, 특징 스케일링 및 분할 진행 |
다중 클래스 모델 구축
이진 분류에 사용된 동일한 모델을 여기에서도 적용할 수 있습니다. 주요 차이점은 여러 클래스에 걸쳐 성능을 평가하는 데 있습니다.
|
1 2 3 4 5 6 |
# XGBoost 예제 xgb_classifier = xgb.XGBClassifier(use_label_encoder=False, eval_metric='mlogloss') xgb_classifier.fit(X_train, y_train) y_pred_xgb = xgb_classifier.predict(X_test) accuracy_xgb = accuracy_score(y_pred_xgb, y_test) print(f'XGBoost Multiclass Accuracy: {accuracy_xgb}') |
다중 클래스 모델을 위한 CAP 곡선 생성
CAP 생성 함수는 변경되지 않습니다. 그러나 이제 여러 클래스를 고려하기 때문에 해석이 약간 달라집니다.
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 |
# GaussianNB에 대한 CAP 생성 x_gnb, y_gnb = CAP_gen(gnb, X_test, y_test) plt.plot(x_gnb, y_gnb, linewidth=3, label='GaussianNB') # XGBoost에 대한 CAP 생성 x_xgb, y_xgb = CAP_gen(xgb_classifier, X_test, y_test) plt.plot(x_xgb, y_xgb, linewidth=3, label='XGBoost') # 무작위 모델 선 plt.plot([0, total], [0, sum_count], linestyle='--', label='Random Model') # 플롯 미학 plt.xlabel('총 관측치', fontsize=16) plt.ylabel('CAP 값', fontsize=16) plt.title('다중 클래스 분류를 위한 누적 정확도 프로파일', fontsize=16) plt.legend(loc='lower right', fontsize=16) plt.show() |
참고: 다중 클래스 시나리오에서는 CAP 곡선을 이진 분류만큼 직관적으로 해석하기 어려울 수 있습니다. 그러나 여전히 다양한 클래스에 걸친 모델의 성능에 대한 유용한 통찰을 제공합니다.
모범 사례 및 팁
- 데이터 품질: 데이터가 깨끗하고 잘 전처리되었는지 확인하여 오도된 CAP 곡선을 피하십시오.
- 모델 다양성: 다양한 기본 알고리즘을 사용하는 모델을 비교하여 최상의 성능을 발휘하는 모델을 식별하십시오.
- 다중 클래스 고려사항: 다중 클래스 환경에서 CAP 곡선을 해석할 때 주의하고, 혼동 행렬이나 F1 점수와 같은 다른 평가 지표를 보완적으로 사용하십시오.
- 과적합 방지: 교차 검증 및 정규화와 같은 기술을 사용하여 모델이 보이지 않는 데이터에 잘 일반화되도록 하십시오.
- 최신 정보 유지: 머신러닝은 계속 진화하는 분야입니다. 최신 도구와 모범 사례를 숙지하여 모델 평가 전략을 개선하십시오.
결론
여러 머신러닝 모델을 비교하는 것은 도전적일 수 있지만, CAP 곡선과 같은 도구는 모델 성능에 대한 명확한 시각적 통찰을 제공하여 이 과정을 단순화합니다. 이진 분류이든 다중 클래스 분류이든 관계없이 Python에서 CAP 곡선을 구현하면 데이터에 가장 적합한 모델을 평가하고 선택하는 강력한 방법을 갖추게 됩니다. 데이터 품질을 우선시하고, 다양한 모델의 미묘한 차이를 이해하며, CAP 곡선을 신중하게 해석하여 머신러닝 작업에서 그 잠재력을 최대한 활용하십시오.
모델링을 즐기세요!