html
파이썬에서 K-최근접 이웃(KNN) 시각화 마스터하기: 종합 가이드
소개
기계 학습 분야에서 K-최근접 이웃(KNN) 알고리즘은 분류 작업에서 그 단순성과 효과성으로 돋보입니다. 그러나 KNN의 결정 경계를 이해하고 해석하는 것은 특히 고차원 데이터 처리 시 어려울 수 있습니다. 이럴 때 시각화가 강력한 도구가 됩니다. 이 종합 가이드에서는 파이썬을 사용하여 KNN 시각화의 복잡한 요소들을 다루고, mlxtend와 matplotlib 같은 패키지를 활용할 것입니다. 이 기사의 끝까지 읽으시면 KNN 모델의 통찰력 있는 시각적 표현을 생성할 수 있는 지식을 갖추게 될 것입니다.
목차
K-최근접 이웃(KNN)과 그 시각화 이해하기
K-최근접 이웃(KNN)이란?
KNN은 분류 및 회귀 작업에 사용되는 비모수적, 인스턴스 기반 학습 알고리즘입니다. 이는 유사한 데이터 포인트가 특징 공간에서 서로 가까이에 있을 가능성이 있다는 원칙에 따라 작동합니다. 분류의 경우, KNN은 K개의 가장 가까운 이웃 중에 가장 일반적인 클래스를 할당합니다.
KNN을 시각화하는 이유는?
시각화는 다음을 돕습니다:
- 모델 동작 해석: KNN이 특징 공간을 기반으로 어떻게 결정을 내리는지 이해합니다.
- 과적합 또는 과소적합 식별: 시각적 패턴을 통해 모델이 잘 일반화되는지 확인할 수 있습니다.
- 특징 영향 비교: 결정 경계에 가장 크게 기여하는 특징을 확인할 수 있습니다.
파이썬 환경 설정
KNN 시각화에 뛰어들기 전에, 필요한 패키지로 파이썬 환경이 설정되어 있는지 확인하세요.
필수 패키지:
pandas: 데이터 조작 및 분석.numpy: 수치 계산.scikit-learn: 기계 학습 알고리즘 및 도구.mlxtend: 기계 학습을 위한 확장 패키지.matplotlib: 플로팅 및 시각화.
설치 명령어:
1
pip install pandas numpy scikit-learn mlxtend matplotlib
데이터 전처리: 데이터셋 준비
효과적인 KNN 모델을 구축하기 위해서는 잘 준비된 데이터셋이 중요합니다. 이 예제에서는 Weather Australia Dataset을 사용하겠습니다.
1. 라이브러리 가져오기 및 데이터 로드
1234567891011121314
import pandas as pdimport numpy as npimport seaborn as snsfrom sklearn.model_selection import train_test_splitfrom sklearn.impute import SimpleImputerfrom sklearn.preprocessing import OneHotEncoder, LabelEncoder, StandardScalerfrom sklearn.feature_selection import SelectKBest, chi2from sklearn.neighbors import KNeighborsClassifierfrom sklearn.metrics import accuracy_scorefrom mlxtend.plotting import plot_decision_regionsimport matplotlib.pyplot as plt # Load datasetdata = pd.read_csv('weatherAUS.csv')
2. 데이터 탐색
1
data.tail()
출력:
123
Date Location MinTemp MaxTemp Rainfall Evaporation ... Humidity3pm Pressure9am ...142188 2017-06-20 Uluru 3.5 21.8 0.0 NaN ... 27.0 1024.7 ......
3. 결측 데이터 처리
수치형 특징:
123
numerical_cols = data.select_dtypes(include=['int64', 'float64']).columnsimp_mean = SimpleImputer(strategy='mean')data[numerical_cols] = imp_mean.fit_transform(data[numerical_cols])
범주형 특징:
123
string_cols = data.select_dtypes(include=['object']).columnsimp_freq = SimpleImputer(strategy='most_frequent')data[string_cols] = imp_freq.fit_transform(data[string_cols])
4. 범주형 변수 인코딩
1234567891011
def LabelEncoderMethod(series): le = LabelEncoder() return le.fit_transform(series) # Encode target variabledata['RainTomorrow'] = LabelEncoderMethod(data['RainTomorrow']) # One-Hot Encode categorical featuresX = data.drop(['RainTomorrow', 'RISK_MM'], axis=1)X = pd.get_dummies(X, drop_first=True)y = data['RainTomorrow']
5. 특징 선택
1234
kbest = SelectKBest(score_func=chi2, k=10)scaler = StandardScaler()X_scaled = scaler.fit_transform(X)X_selected = kbest.fit_transform(X_scaled, y)
6. 데이터셋 분할
1
X_train, X_test, y_train, y_test = train_test_split(X_selected, y, test_size=0.20, random_state=1)
KNN 모델 구축 및 학습
데이터를 전처리하고 분할한 후, 이제 KNN 분류기를 구축할 시간입니다.
1. 모델 초기화 및 학습
12
knn_classifier = KNeighborsClassifier(n_neighbors=3)knn_classifier.fit(X_train, y_train)
2. 모델 성능 평가
123
y_pred = knn_classifier.predict(X_test)accuracy = accuracy_score(y_pred, y_test)print(f"Model Accuracy: {accuracy:.2f}")
출력:
1
Model Accuracy: 0.80
결정 경계 시각화
시각화는 KNN 모델이 선택된 특징을 기반으로 서로 다른 클래스를 어떻게 분리하는지 이해하는 데 도움을 줍니다.
1. 시각화를 위한 두 가지 특징 선택
결정 경계를 2차원에서 시각화하는 것이 더 쉽기 때문에, 특징 선택을 상위 두 가지 특징으로 제한합니다.
12
kbest = SelectKBest(score_func=chi2, k=2)X_selected = kbest.fit_transform(X_scaled, y)
2. 데이터셋 재분할
1
X_train, X_test, y_train, y_test = train_test_split(X_selected, y, test_size=0.20, random_state=1)
3. 특징 스케일링
123
scaler = StandardScaler(with_mean=False)X_train = scaler.fit_transform(X_train)X_test = scaler.transform(X_test)
4. 모델 재학습
1
knn_classifier.fit(X_train, y_train)
5. 결정 영역 플로팅
123456
plt.figure(figsize=(10,6))plot_decision_regions(X_train, y_train, clf=knn_classifier, legend=2)plt.xlabel('Feature 1')plt.ylabel('Feature 2')plt.title('KNN Decision Boundary with k=3')plt.show()
출력:
참고: 이미지 링크를 실제 환경에서 생성된 플롯으로 교체하세요.
시각화 해석
결정 경계 플롯은 KNN 분류기가 선택된 두 가지 특징을 기반으로 클래스를 어떻게 구분하는지를 보여줍니다. 각 영역은 모델이 특정 클래스를 예측하는 영역을 나타냅니다. 경계 근처의 데이터 포인트는 모델의 예측이 특징 값의 변화에 더 민감하게 반응하는 인스턴스를 나타냅니다.
주요 통찰:
- 경계 형태: KNN 경계는 비선형적일 수 있으며 K 값에 민감합니다.
- 클래스 중첩: 클래스가 중첩된 영역에서는 오분류가 발생할 수 있습니다.
- K의 영향: 작은 K는 경계를 더 유연하게 만들고, 큰 K는 경계를 더 부드럽게 만듭니다.
결론
K-최근접 이웃 알고리즘을 시각화하면 그 의사 결정 과정을 이해하는 데 귀중한 통찰을 얻을 수 있습니다. 특징 공간을 2차원으로 제한함으로써 모델이 클래스를 어떻게 구분하는지 효과적으로 해석할 수 있습니다. 시각화는 강력한 도구이지만, 정확도, 정밀도, 재현율과 같은 견고한 모델 평가 지표와 함께 사용하여 종합적인 이해와 성능 평가를 보장하는 것이 필수적입니다.
추가 자료
- Kaggle Weather Australia Dataset: 링크
- Scikit-learn Documentation: KNN 분류기
- mlxtend Library: 결정 영역 플로팅
- Jake VanderPlas의 파이썬 데이터 과학 핸드북: 링크
메타 설명:
파이썬에서 K-최근접 이웃(KNN) 시각화의 힘을 활용하세요. 이 종합 가이드는 데이터 전처리, 모델 학습, scikit-learn 및 mlxtend와 같은 라이브러리를 사용한 결정 경계 플로팅을 다룹니다.
키워드:
KNN 시각화, K-최근접 이웃 파이썬, 결정 경계 플롯, 기계 학습 시각화, scikit-learn KNN, mlxtend 결정 영역 플롯, 파이썬 데이터 전처리, 특징 선택 KNN, KNN 모델 정확도