S10L01 – 엔트로피 및 지니 측정

html
의사 결정 나무 이해하기: 엔트로피, 지니 불순도, 그리고 실용적인 응용

목차

의사 결정 나무란?
의사 결정 나무의 주요 구성 요소
의사 결정 나무는 어떻게 결정을 내리는가
의사 결정 나무에서 불확실성 다루기
엔트로피: 불확실성 측정
지니 불순도: 더 간단한 대안
의사 결정 나무의 실용적인 응용
결론




의사 결정 나무란?

의사 결정 나무는 다양한 조건에 기반하여 결정을 내리기 위해 머신러닝에서 사용되는 그래픽 표현입니다. 복잡한 문제를 더 작고 관리하기 쉬운 부분으로 나눔으로써 인간의 의사 결정을 모방합니다. 각 내부 노드는 특정 특징에 기반한 의사 결정 지점을 나타내며, 각 말단 노드는 결과 또는 분류를 의미합니다.

예시: 배드민턴 플레이 의사 결정 나무

주말과 날씨 조건에 따라 배드민턴을 칠지 결정하는 단순한 시나리오를 고려해 보십시오:


루트 노드: 주말인가요?
  
    예: 날씨를 확인합니다.
    아니오: 배드민턴을 치지 않습니다.
  

자식 노드: 화창한가요?
  
    예: 배드민턴을 칩니다.
    아니오: 배드민턴을 치지 않습니다.
  



이 예시는 의사 결정 나무가 다양한 조건을 통해 결정을 내리는 과정을 어떻게 진행하는지를 보여줍니다.

의사 결정 나무의 주요 구성 요소

의사 결정 나무의 구조를 이해하는 것은 효과적으로 구축하고 해석하는 데 중요합니다.

1. 루트 노드


정의: 모든 결정이 분기되는 의사 결정 나무의 최상위 노드입니다.
예시: 배드민턴 예시에서 "주말인가요?"가 루트 노드입니다.


2. 부모 노드와 자식 노드


부모 노드: 하나 이상의 자식 노드로 분기되는 상위 수준의 노드입니다.
자식 노드: 부모 노드에서 직접 내려오는 노드입니다.
예시: "화창한가요?"는 "주말인가요?"의 자식 노드입니다.


3. 말단 노드


정의: 최종 결과나 결정을 나타내는 말단 노드입니다.
예시: "배드민턴 치기" 또는 "배드민턴 치지 않기."


4. 엣지


정의: 노드 간의 연결로, 한 결정에서 다른 결정으로의 흐름을 나타냅니다.
예시: "주말인가요?"에서 "예" 또는 "아니오"로 향하는 화살표입니다.


5. 형제 노드


정의: 같은 부모를 공유하는 노드들입니다.
예시: "주말인가요?" 노드에서 파생된 "예" 및 "아니오" 가지입니다.


의사 결정 나무는 어떻게 결정을 내리는가

의사 결정 나무는 가장 중요한 또는 우선적인 노드를 먼저 평가하여 작동합니다. 우선성은 일반적으로 데이터를 효과적으로 분할할 수 있는 노드의 능력을 평가하는 지표에 의해 결정됩니다. 경로가 선택되면 과정은 단방향으로 진행되며, 이전 노드를 재방문하지 않고 순차적으로 결정을 내립니다.

우선적인 노드와 루트 선택

루트 노드는 의사 결정에서의 우선성에 기반하여 선택됩니다. 우리 예시에서 "주말인가요?"는 배드민턴을 칠지 결정하는 데 있어서 우선적인 요소로, 이상적인 루트 노드가 됩니다.

의사 결정 나무에서 불확실성 다루기

현실 세계의 시나리오는 종종 불확실성을 수반합니다. 예를 들어, "부분적으로 맑음"과 같은 날씨 조건은 의사 결정에 모호성을 도입합니다. 이를 해결하기 위해 의사 결정 나무는 불확실성을 정량화하고 이에 따라 결정 경로를 안내하는 방법을 포함합니다.

불확실성 측정: 엔트로피와 지니 불순도

의사 결정 나무에서 불확실성을 측정하는 두 가지 주요 지표가 사용됩니다:


엔트로피: 정보 이론에서 유래되었으며, 예측 불가능성 또는 무질서의 정도를 정량화합니다.
지니 불순도: 무작위로 선택된 요소를 잘못 분류할 확률을 측정합니다.


엔트로피: 불확실성 측정

엔트로피는 데이터 세트의 불확실성 또는 불순도를 측정하는 데 사용되는 정보 이론의 기본 개념입니다.

엔트로피 이해하기


공식:
  



		
		
			
			
Java
			
			H(X) = -p log<sub>2</sub>(p) - q log<sub>2</sub>(q)
			
				
					
				
					1
				
						H(X) = -p log<sub>2</sub>(p) - q log<sub>2</sub>(q)
					
				
			
		


  여기서:
  
    p는 한 가지 결과의 확률입니다.
    q는 대안적 결과의 확률입니다.
  

해석:
  
    높은 엔트로피 (1.0): 최대 불확실성 (예: 확률이 50-50인 공정한 동전 던지기).
    낮은 엔트로피 (0.0): 불확실성 없음 (예: 주말에 배드민턴을 칠 확률이 100%).
  



예시: 동전 던지기

공정한 동전은 다음과 같습니다:


p = 0.5 (앞면)
q = 0.5 (뒷면)






		
		
			
			
Java
			
			H(X) = -0.5 log<sub>2</sub>(0.5) - 0.5 log<sub>2</sub>(0.5) = 1.0
			
				
					
				
					1
				
						H(X) = -0.5 log<sub>2</sub>(0.5) - 0.5 log<sub>2</sub>(0.5) = 1.0
					
				
			
		



실용적인 응용: 의사 결정 나무 분할

엔트로피를 사용하여, 의사 결정 나무는 정보 이득을 계산함으로써 최적의 분할 특징을 결정합니다. 정보 이득은 특정 특징에 기반하여 데이터 세트가 분할된 후 엔트로피의 감소를 의미합니다.

Python 구현





		
		
			
			
Java
			
			import math

def calculate_entropy(p):
    if p == 0 or p == 1:
        return 0
    return -p * math.log2(p) - (1 - p) * math.log2(1 - p)

# Example: Coin Toss
prob_head = 0.5
entropy = calculate_entropy(prob_head)
print(f"Entropy: {entropy}")  # Output: Entropy: 1.0
			
				
					
				
					1
2
3
4
5
6
7
8
9
10
11
				
						import math
 
def calculate_entropy(p):
    if p == 0 or p == 1:
        return 0
    return -p * math.log2(p) - (1 - p) * math.log2(1 - p)
 
# Example: Coin Toss
prob_head = 0.5
entropy = calculate_entropy(prob_head)
print(f"Entropy: {entropy}")  # Output: Entropy: 1.0
					
				
			
		



지니 불순도: 더 간단한 대안

엔트로피가 불확실성을 견고하게 측정하는 동안, 지니 불순도는 계산적으로 더 간단한 대안을 제공합니다.

지니 불순도 이해하기


공식:
  



		
		
			
			
Java
			
			G(X) = 1 - (p<sup>2</sup> + q<sup>2</sup>)
			
				
					
				
					1
				
						G(X) = 1 - (p<sup>2</sup> + q<sup>2</sup>)
					
				
			
		


  여기서:
  
    p와 q는 각각의 결과의 확률입니다.
  

해석:
  
    높은 지니 불순도: 오분류될 확률이 높습니다.
    낮은 지니 불순도: 오분류될 확률이 낮습니다.
  



엔트로피와의 비교



지표
공식
범위


엔트로피
H(X) = -p log₂(p) - q log₂(q)
0에서 1


지니 불순도
G(X) = 1 - (p² + q²)
0에서 0.5



지니 불순도는 계산하기 더 쉽고 빠른 경향이 있어 많은 머신러닝 알고리즘에서 널리 사용됩니다.

예시: 동전 던지기

공정한 동전의 경우 (p = 0.5):





		
		
			
			
Java
			
			G(X) = 1 - (0.5<sup>2</sup> + 0.5<sup>2</sup>) = 0.5
			
				
					
				
					1
				
						G(X) = 1 - (0.5<sup>2</sup> + 0.5<sup>2</sup>) = 0.5
					
				
			
		



Python 구현





		
		
			
			
Java
			
			def calculate_gini(p):
    return 1 - (p**2 + (1 - p)**2)

# Example: Coin Toss
prob_head = 0.5
gini = calculate_gini(prob_head)
print(f"Gini Impurity: {gini}")  # Output: Gini Impurity: 0.5
			
				
					
				
					1
2
3
4
5
6
7
				
						def calculate_gini(p):
    return 1 - (p**2 + (1 - p)**2)
 
# Example: Coin Toss
prob_head = 0.5
gini = calculate_gini(prob_head)
print(f"Gini Impurity: {gini}")  # Output: Gini Impurity: 0.5
					
				
			
		



의사 결정 나무의 실용적인 응용

의사 결정 나무는 다용도로 다양한 분야에 적용될 수 있습니다:


의료: 환자의 증상 및 병력에 기반한 질병 진단.
금융: 신용 점수 평가 및 리스크 평가.
마케팅: 고객 세분화 및 타겟팅 전략.
공학: 예측 유지보수 및 결함 진단.
소매: 재고 관리 및 판매 예측.


범주형 데이터와 수치형 데이터를 모두 다룰 수 있는 능력은 많은 현실 문제에서 의사 결정 나무를 선호하는 도구로 만듭니다.

결론

의사 결정 나무는 머신러닝에서 의사 결정 과정을 위한 명확하고 해석 가능한 모델을 제공하는 강력한 도구입니다. 엔트로피와 지니 불순도의 핵심 개념을 이해함으로써 실무자들은 다양한 응용 분야에 대한 의사 결정 나무를 효과적으로 구축하고 최적화할 수 있습니다. 머신러닝을 처음 접하는 초보자이든 경험 많은 전문가이든 간에, 의사 결정 나무를 숙달하는 것은 당신의 분석 능력을 크게 향상시킬 수 있습니다.



키워드: 의사 결정 나무, 머신러닝, 엔트로피, 지니 불순도, 정보 이론, 인공지능, 분류, 회귀, 데이터 과학, 예측 모델링
지표	공식	범위
엔트로피	H(X) = -p log₂(p) - q log₂(q)	0에서 1
지니 불순도	G(X) = 1 - (p² + q²)	0에서 0.5