S20L04 – 다중 클래스 분류에서의 로지스틱 회귀

html
로지스틱 회귀 이해하기: 기초부터 다중 클래스 분류까지

목차

    로지스틱 회귀 소개
    로지스틱 회귀 vs. 선형 회귀
    로지스틱 회귀를 이용한 이진 분류
    다중 클래스 분류로 확장하기
    One-vs-All (OvA) 접근법
    확률과 결정 경계
    Scikit-Learn을 이용한 실용적 구현
    결론




로지스틱 회귀 소개
로지스틱 회귀는 머신 러닝과 통계 분석의 핵심 도구로 자리잡고 있습니다. 데이터 과학에 처음 발을 들이는 초보자이든, 이해를 강화하려는 숙련된 전문가이든 간에 로지스틱 회귀의 세부 사항을 파악하는 것은 필수적입니다. 이 종합 가이드는 로지스틱 회귀의 기본을 다루고, 이진 분류와 다중 클래스 분류의 차이점을 구분하며, 효과적인 다중 클래스 모델링을 위한 one-vs-all 전략을 설명합니다.


그림 1: 확률을 나타내는 로지스틱 회귀의 S-곡선.

로지스틱 회귀 vs. 선형 회귀
로지스틱 회귀는 근본적으로 선형 회귀 모델에서 파생됩니다. 선형 회귀가 변수 간의 관계를 모델링하기 위해 직선을 적합시키는 반면, 로지스틱 회귀는 로지스틱 함수(시그모이드 함수라고도 함)를 사용하여 출력을 0과 1 사이로 제한합니다. 이러한 변환을 통해 로지스틱 회귀는 확률을 모델링할 수 있어 분류 작업에 적합합니다.

주요 차이점:

    출력: 선형 회귀는 연속적인 값을 예측하는 반면, 로지스틱 회귀는 확률을 출력합니다.
    사용된 함수: 선형 회귀는 선형 함수를 사용하고, 로지스틱 회귀는 시그모이드 함수를 사용합니다.
    목적: 선형 회귀는 회귀 작업에 사용되며, 로지스틱 회귀는 분류에 사용됩니다.


로지스틱 회귀를 이용한 이진 분류
이진 분류에서 목표는 데이터를 두 개의 뚜렷한 클래스 중 하나로 분류하는 것입니다. 로지스틱 회귀는 주어진 입력이 특정 클래스에 속할 확률을 추정하여 이를 달성합니다.

작동 원리:

    선형 결합: 입력 특성의 가중 합을 계산합니다.
    시그모이드 함수: 선형 결합에 시그모이드 함수를 적용하여 0과 1 사이의 확률로 매핑합니다.
    결정 경계: 입력을 두 클래스 중 하나로 분류하기 위해 임계값(일반적으로 0.5)을 결정합니다.


예제 시나리오:

키워드 빈도, 발신자 평판, 이메일 길이와 같은 특성을 기반으로 이메일이 스팸(1)인지 아닌지(0) 예측한다고 상상해 보십시오.

다중 클래스 분류로 확장하기
로지스틱 회귀는 본질적으로 이진 분류기이지만, 세 개 이상의 클래스 중 하나로 입력을 분류하는 다중 클래스 분류 문제를 처리하도록 확장할 수 있습니다.

다중 클래스 분류의 도전 과제:

    결정 경계: 여러 클래스를 구분하기 위해 단일 결정 경계는 충분하지 않습니다.
    확률 할당: 각 클래스에 대한 확률을 할당하여 합이 하나가 되도록 합니다.


One-vs-All (OvA) 접근법
One-vs-All, 또는 One-vs-Rest이라고도 하는 이 전략은 로지스틱 회귀와 같은 이진 분류기를 다중 클래스 문제로 확장하기 위해 널리 채택된 방법입니다.

OvA 작동 방식:

    여러 모델: 각 클래스마다 별도의 이진 분류기를 훈련시킵니다. 각 모델은 하나의 클래스를 모든 다른 클래스와 구분하는 방법을 학습합니다.
    확률 추정: 각 분류기는 입력이 해당 클래스에 속할 가능성을 나타내는 확률을 출력합니다.
    최종 예측: 모든 분류기 중에서 가장 높은 확률 점수를 가진 클래스로 입력을 할당합니다.


예시:

세 가지 클래스가 있는 데이터셋을 고려해보십시오: 원(Circle), 삼각형(Triangle), 사각형(Square).


    모델 M1: 원 vs. (삼각형 & 사각형)
    모델 M2: 삼각형 vs. (원 & 사각형)
    모델 M3: 사각형 vs. (원 & 삼각형)


새로운 데이터 포인트에 대해 각 모델은 확률을 제공합니다. 가장 높은 확률을 가진 클래스가 최종 예측으로 선택됩니다.

확률과 결정 경계
로지스틱 회귀는 시그모이드 함수를 활용하여 데이터 포인트가 특정 클래스에 속할 확률을 나타내는 부드러운 S-곡선을 생성합니다. 결정 경계는 이러한 확률을 기반으로 클래스를 분리하는 임계값(일반적으로 0.5)입니다.

주요 통찰:

    신뢰도 수준: 데이터 포인트가 결정 경계에서 멀어질수록 모델의 분류에 대한 신뢰도가 높아집니다.
    중첩 시나리오: 결정 경계 근처의 데이터 포인트는 신뢰도 수준이 낮아 분류의 모호성을 나타냅니다.


시각화:

그림 2: 결정 경계와 신뢰도 수준의 시각화.

Scikit-Learn을 이용한 실용적 구현
특히 OvA 접근법을 사용한 다중 클래스 문제에서 로지스틱 회귀를 구현하는 것은 Python의 Scikit-Learn과 같은 라이브러리를 사용하면 간소화됩니다.

단계별 가이드:

    라이브러리 임포트:





		
		
			
			
Java
			
			from sklearn.linear_model import LogisticRegression
from sklearn.datasets import load_iris
from sklearn.model_selection import train_test_split
from sklearn.metrics import classification_report
			
				
					
				
					1
2
3
4
				
						from sklearn.linear_model import LogisticRegression
from sklearn.datasets import load_iris
from sklearn.model_selection import train_test_split
from sklearn.metrics import classification_report
					
				
			
		




    데이터 로드:





		
		
			
			
Java
			
			iris = load_iris()
X = iris.data
y = iris.target
			
				
					
				
					1
2
3
				
						iris = load_iris()
X = iris.data
y = iris.target
					
				
			
		




    데이터 분할:





		
		
			
			
Java
			
			X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)
			
				
					
				
					1
				
						X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)
					
				
			
		




    모델 훈련:





		
		
			
			
Java
			
			model = LogisticRegression(multi_class='ovr', solver='liblinear')
model.fit(X_train, y_train)
			
				
					
				
					1
2
				
						model = LogisticRegression(multi_class='ovr', solver='liblinear')
model.fit(X_train, y_train)
					
				
			
		




    예측 수행:





		
		
			
			
Java
			
			y_pred = model.predict(X_test)
print(classification_report(y_test, y_pred))
			
				
					
				
					1
2
				
						y_pred = model.predict(X_test)
print(classification_report(y_test, y_pred))
					
				
			
		



출력 해석:
분류 보고서는 각 클래스에 대한 정밀도, 재현율, F1-점수와 같은 메트릭을 제공하여 다양한 범주에서 모델의 성능에 대한 통찰을 제공합니다.

결론
로지스틱 회귀는 이진 및 다중 클래스 분류 작업에 대해 단순성과 효율성을 제공하는 데이터 과학자의 도구 키트에서 기본적인 도구로 남아 있습니다. 특히 다중 클래스 시나리오에서의 one-vs-all 전략을 포함한 그 기본 메커니즘을 이해함으로써 실무자들은 실제 문제에 로지스틱 회귀를 능숙하게 적용할 수 있습니다. 고객 이탈 예측, 이메일 분류 또는 종 식별 등 로지스틱 회귀는 예측 모델 구축을 위한 견고한 기반을 제공합니다.



키워드: 로지스틱 회귀, 이진 분류, 다중 클래스 분류, One-vs-All, 머신 러닝, 데이터 과학, Scikit-Learn, 예측 모델링, 결정 경계, 분류에서의 확률