html
분류 모델 마스터하기: 평가 기술 및 데이터셋 처리를 포함한 종합 가이드
소개
머신러닝 분야에서 분류 모델은 범주형 결과를 예측하는 데 중요한 역할을 합니다. 스팸과 비스팸 이메일을 구분하거나, 질병을 진단하거나, 고객 만족도를 판단하는 등, 분류 알고리즘은 정보에 입각한 의사 결정을 위한 기반을 제공합니다. 이 기사에서는 Python의 강력한 생태계를 활용하여 데이터 전처리, 모델 학습, 평가 및 다양한 데이터셋 처리를 중심으로 견고한 분류 모델을 구축하는 방법을 심층적으로 살펴보겠습니다. 평가 지표와 다양한 데이터셋에 대한 적응성을 갖춘 종합적인 분류 작업 마스터 템플릿 역할을 하는 Jupyter Notebook을 통해 단계별로 안내해 드리겠습니다.
목차
데이터셋 이해하기
모델 구축에 뛰어들기 전에 다루고 있는 데이터셋을 이해하는 것이 중요합니다. 이 가이드에서는 Kaggle의 항공사 승객 만족도 데이터셋을 사용할 것입니다. 이 데이터셋은 승객 만족도에 영향을 미치는 다양한 요인을 포함하고 있어 분류 작업에 이상적입니다.
데이터 불러오기
필요한 라이브러리를 가져오고 데이터셋을 pandas DataFrame에 로드하는 것으로 시작하겠습니다.
12345678910
import pandas as pdimport seaborn as sns # Load datasetsdata1 = pd.read_csv('Airline1.csv')data2 = pd.read_csv('Airline2.csv') # Concatenate datasetsdata = pd.concat([data1, data2])print(data.shape)
출력:
1
(129880, 25)
이는 각각 25개의 특징을 가진 129,880개의 레코드가 있음을 나타냅니다.
데이터 전처리
데이터 전처리는 효과적인 모델 성능의 초석입니다. 데이터 정리, 결측값 처리, 범주형 변수 인코딩, 관련 특징 선택 및 데이터의 일관성을 보장하기 위한 스케일링을 포함합니다.
결측치 처리
수치형 데이터:
수치형 열의 경우, 결측값을 채우기 위해 평균 대체법을 사용할 것입니다.
123456789101112
import numpy as npfrom sklearn.impute import SimpleImputer # Identify numerical columnsnumerical_cols = list(np.where((X.dtypes == np.int64) | (X.dtypes == np.float64))[0]) # Initialize imputerimp_mean = SimpleImputer(missing_values=np.nan, strategy='mean') # Fit and transformimp_mean.fit(X.iloc[:, numerical_cols])X.iloc[:, numerical_cols] = imp_mean.transform(X.iloc[:, numerical_cols])
범주형 데이터:
범주형 열의 경우, 가장 빈번한 값을 사용하여 결측값을 대체할 것입니다.
123456789
# Identify string/object columnsstring_cols = list(np.where((X.dtypes == np.object))[0]) # Initialize imputerimp_freq = SimpleImputer(missing_values=np.nan, strategy='most_frequent') # Fit and transformimp_freq.fit(X.iloc[:, string_cols])X.iloc[:, string_cols] = imp_freq.transform(X.iloc[:, string_cols])
범주형 변수 인코딩
머신러닝 모델은 수치 입력을 요구하므로, 범주형 변수는 적절하게 인코딩되어야 합니다.
라벨 인코딩:
이진 범주형 변수나 범주 수가 많은 경우, 라벨 인코딩이 효율적입니다.
123456789
from sklearn import preprocessing def LabelEncoderMethod(series): le = preprocessing.LabelEncoder() le.fit(series) return le.transform(series) # Encode target variabley = LabelEncoderMethod(y)
원-핫 인코딩:
범주 수가 제한된 범주형 변수의 경우, 원-핫 인코딩을 사용하면 모델이 존재하지 않는 수치적 관계를 해석하지 않도록 할 수 있습니다.
123456
from sklearn.compose import ColumnTransformerfrom sklearn.preprocessing import OneHotEncoder def OneHotEncoderMethod(indices, data): columnTransformer = ColumnTransformer([('encoder', OneHotEncoder(), indices )], remainder='passthrough') return columnTransformer.fit_transform(data)
인코딩 선택:
범주 수에 따라 인코딩 전략을 최적화하기 위해 선택 메커니즘을 구현합니다.
12345678910111213141516
def EncodingSelection(X, threshold=10): string_cols = list(np.where((X.dtypes == np.object))[0]) one_hot_encoding_indices = [] for col in string_cols: length = len(pd.unique(X[X.columns[col]])) if length == 2 or length > threshold: X[X.columns[col]] = LabelEncoderMethod(X[X.columns[col]]) else: one_hot_encoding_indices.append(col) X = OneHotEncoderMethod(one_hot_encoding_indices, X) return X X = EncodingSelection(X)print(X.shape)
출력:
1
(129880, 26)
특징 선택
가장 관련성 높은 특징을 선택하면 모델 성능이 향상되고 계산 복잡성이 줄어듭니다. 특징 선택을 위해 카이제곱 검정을 사용할 것입니다.
1234567891011121314151617
from sklearn.feature_selection import SelectKBest, chi2from sklearn import preprocessing # Initializekbest = SelectKBest(score_func=chi2, k='all')MMS = preprocessing.MinMaxScaler()K_features = 10 # Apply transformationsx_temp = MMS.fit_transform(X)x_temp = kbest.fit(x_temp, y) # Select top K featuresbest_features = np.argsort(x_temp.scores_)[-K_features:]features_to_delete = np.argsort(x_temp.scores_)[:-K_features]X = np.delete(X, features_to_delete, axis=1)print(X.shape)
출력:
1
(129880, 10)
특징 스케일링
스케일링은 모든 특징이 모델의 성능에 동등하게 기여하도록 보장합니다.
123456789101112
from sklearn import preprocessing # Initialize scalersc = preprocessing.StandardScaler(with_mean=False)sc.fit(X_train) # Transform featuresX_train = sc.transform(X_train)X_test = sc.transform(X_test) print(X_train.shape)print(X_test.shape)
출력:
12
(103904, 10)(25976, 10)
분류 모델 구축 및 평가
전처리된 데이터를 사용하여 이제 다양한 분류 모델을 구축하고 평가할 수 있습니다. 여러 알고리즘을 탐색하여 성능을 비교해 보겠습니다.
K-최근접 이웃 (KNN) 분류기
KNN은 가장 단순하면서도 효과적인 알고리즘으로, 데이터 포인트를 가장 가까운 이웃의 다수 레이블을 기준으로 분류합니다.
1234567891011
from sklearn.neighbors import KNeighborsClassifierfrom sklearn.metrics import accuracy_score, classification_report # Initialize and trainknnClassifier = KNeighborsClassifier(n_neighbors=10)knnClassifier.fit(X_train, y_train) # Predict and evaluatey_pred = knnClassifier.predict(X_test)print(accuracy_score(y_pred, y_test))print(classification_report(y_pred, y_test, target_names=['No', 'Yes']))
출력:
123456789
0.932668617185094 precision recall f1-score support No 0.96 0.92 0.94 15395 Yes 0.90 0.94 0.92 10581 accuracy 0.93 25976 macro avg 0.93 0.93 0.93 25976weighted avg 0.93 0.93 0.93 25976
해석:
KNN 분류기는 93.27%의 높은 정확도를 달성하여 승객 만족도를 예측하는 데 탁월한 성과를 보입니다.
로지스틱 회귀
로지스틱 회귀는 이진 결과의 확률을 모델링하여 분류 작업에 이상적입니다.
12345678910
from sklearn.linear_model import LogisticRegression # Initialize and trainLRM = LogisticRegression()LRM.fit(X_train, y_train) # Predict and evaluatey_pred = LRM.predict(X_test)print(accuracy_score(y_pred, y_test))print(classification_report(y_pred, y_test))
출력:
123456789
0.8557129658145981 precision recall f1-score support No 0.88 0.87 0.87 15068 Yes 0.82 0.84 0.83 10908 accuracy 0.86 25976 macro avg 0.85 0.85 0.85 25976weighted avg 0.86 0.86 0.86 25976
해석:
로지스틱 회귀는 85.57%의 정확도를 보여 KNN보다는 낮지만 여전히 기준 비교에 있어 준수한 성과를 나타냅니다.
가우시안 나이브 베이즈 (GaussianNB)
GaussianNB는 베이즈 정리를 기반으로 하는 확률적 분류기로, 특징 독립성을 가정합니다.
12345678910
from sklearn.naive_bayes import GaussianNB # Initialize and trainmodel_GNB = GaussianNB()model_GNB.fit(X_train, y_train) # Predict and evaluatey_pred = model_GNB.predict(X_test)print(accuracy_score(y_pred, y_test))print(classification_report(y_pred, y_test))
출력:
123456789
0.828688019710502 precision recall f1-score support No 0.84 0.85 0.85 14662 Yes 0.81 0.80 0.80 11314 accuracy 0.83 25976 macro avg 0.83 0.82 0.83 25976weighted avg 0.83 0.83 0.83 25976
해석:
GaussianNB는 단순한 기본 가정에도 불구하고 82.87%의 정확도를 달성하여 그 효율성을 입증합니다.
서포트 벡터 머신 (SVM)
SVM은 클래스 간의 마진을 최적화하면서 클래스를 분리하는 초평면을 생성합니다.
12345678910
from sklearn.svm import SVC # Initialize and trainmodel_SVC = SVC()model_SVC.fit(X_train, y_train) # Predict and evaluatey_pred = model_SVC.predict(X_test)print(accuracy_score(y_pred, y_test))print(classification_report(y_pred, y_test))
출력:
123456789
0.9325916230366492 precision recall f1-score support No 0.95 0.93 0.94 15033 Yes 0.91 0.93 0.92 10943 accuracy 0.93 25976 macro avg 0.93 0.93 0.93 25976weighted avg 0.93 0.93 0.93 25976
해석:
SVM은 93.26%의 정확도로 KNN의 성과를 반영하여 분류 작업에서의 강건함을 강조합니다.
의사결정 나무 분류기
의사결정 나무는 특징 값을 기반으로 데이터를 분할하여 결정의 트리 구조 모델을 형성합니다.
12345678910
from sklearn.tree import DecisionTreeClassifier # Initialize and trainmodel_DTC = DecisionTreeClassifier(max_leaf_nodes=25, min_samples_split=4, random_state=42)model_DTC.fit(X_train, y_train) # Predict and evaluatey_pred = model_DTC.predict(X_test)print(accuracy_score(y_pred, y_test))print(classification_report(y_pred, y_test))
출력:
123456789
0.9256621496766245 precision recall f1-score support No 0.95 0.92 0.94 15213 Yes 0.90 0.93 0.91 10763 accuracy 0.93 25976 macro avg 0.92 0.93 0.92 25976weighted avg 0.93 0.93 0.93 25976
해석:
의사결정 나무 분류기는 92.57%의 정확도를 기록하여 데이터의 복잡한 패턴을 포착하는 능력을 보여줍니다.
랜덤 포레스트 분류기
랜덤 포레스트는 여러 개의 의사결정 나무를 구축하고 예측을 집계하여 정확도와 강건성을 향상시킵니다.
12345678910
from sklearn.ensemble import RandomForestClassifier # Initialize and trainmodel_RFC = RandomForestClassifier(n_estimators=500, max_depth=5)model_RFC.fit(X_train, y_train) # Predict and evaluatey_pred = model_RFC.predict(X_test)print(accuracy_score(y_pred, y_test))print(classification_report(y_pred, y_test))
출력:
123456789
0.9181937172774869 precision recall f1-score support No 0.93 0.93 0.93 14837 Yes 0.90 0.91 0.90 11139 accuracy 0.92 25976 macro avg 0.92 0.92 0.92 25976weighted avg 0.92 0.92 0.92 25976
해석:
랜덤 포레스트는 91.82%의 정확도를 달성하여 앙상블 학습을 통해 편향과 분산을 효과적으로 균형 잡습니다.
AdaBoost 분류기
AdaBoost는 여러 약한 분류기를 결합하여 강한 분류기를 형성하며, 이전에 잘못 분류된 인스턴스에 중점을 둡니다.
12345678910
from sklearn.ensemble import AdaBoostClassifier # Initialize and trainmodel_ABC = AdaBoostClassifier()model_ABC.fit(X_train, y_train) # Predict and evaluatey_pred = model_ABC.predict(X_test)print(accuracy_score(y_pred, y_test))print(classification_report(y_pred, y_test))
출력:
123456789
0.9101863258392362 precision recall f1-score support No 0.93 0.92 0.92 14977 Yes 0.89 0.90 0.89 10999 accuracy 0.91 25976 macro avg 0.91 0.91 0.91 25976weighted avg 0.91 0.91 0.91 25976
해석:
AdaBoost는 91.02%의 정확도를 기록하여 부스팅 기법을 통해 모델 성능을 향상시키는 효능을 보여줍니다.
XGBoost 분류기
XGBoost는 성능과 속도로 유명한 고도로 최적화된 그래디언트 부스팅 프레임워크입니다.
12345678910
import xgboost as xgb # Initialize and trainmodel_xgb = xgb.XGBClassifier(use_label_encoder=False, eval_metric='logloss')model_xgb.fit(X_train, y_train) # Predict and evaluatey_pred = model_xgb.predict(X_test)print(accuracy_score(y_pred, y_test))print(classification_report(y_pred, y_test))
출력:
123456789
0.9410994764397905 precision recall f1-score support No 0.96 0.94 0.95 15122 Yes 0.92 0.94 0.93 10854 accuracy 0.94 25976 macro avg 0.94 0.94 0.94 25976weighted avg 0.94 0.94 0.94 25976
해석:
XGBoost는 94.11%의 뛰어난 정확도로 선두를 달리며, 높은 예측력을 가진 복잡한 데이터셋을 처리하는 데 있어 우수성을 입증합니다.
결론
효과적인 분류 모델 구축은 세심한 데이터 전처리, 정보에 기반한 특징 선택, 작업에 적합한 알고리즘 선택에 달려 있습니다. 종합적인 Jupyter Notebook 마스터 템플릿을 통해 각기 고유한 강점을 지닌 다양한 분류 알고리즘을 탐색했습니다. K-최근접 이웃과 로지스틱 회귀부터 랜덤 포레스트와 XGBoost 같은 고급 앙상블 기법에 이르기까지, 도구 키트는 광범위하며 다양한 데이터셋에 적응 가능합니다.
이 가이드를 따르면 데이터 과학자와 애호가들은 머신러닝 작업 흐름을 효율화하여 견고한 모델 성능과 통찰력 있는 평가를 보장할 수 있습니다. 성공적인 모델의 초석은 알고리즘의 복잡성에 뛰어들기 전에 데이터를 이해하고 준비하는 데 있음을 기억하세요.
주요 요점:
- 데이터 품질이 중요합니다: 결측치의 효과적인 처리와 범주형 변수의 적절한 인코딩은 모델 정확도에 필수적입니다.
- 특징 선택은 성능을 향상시킵니다: 가장 관련성 높은 특징을 식별하고 선택하면 모델 성능을 크게 향상시키고 계산 오버헤드를 줄일 수 있습니다.
- 다양한 알고리즘은 고유한 이점을 제공합니다: 여러 분류 알고리즘을 탐색하면 모델의 강점과 데이터셋의 특성에 기반한 정보에 입각한 의사 결정을 내릴 수 있습니다.
- 지속적인 평가는 필수적입니다: 정확도, 정밀도, 재현율, F1 점수와 같은 지표를 사용하여 모델을 정기적으로 평가하면 프로젝트 목표와의 일치를 보장할 수 있습니다.
이 기술들의 힘을 활용하여 뛰어난 성과를 내는 예측 모델을 구축하고 데이터에 대한 의미 있는 통찰을 제공하세요.
자료:
연결 상태 유지:
머신러닝과 데이터 과학에 관한 더 많은 튜토리얼과 통찰력을 얻으려면 뉴스레터에 가입하고 LinkedIn에서 저희를 팔로우하세요.