S02L06 – 가장 일반적인 데이터 분포

html
일반적인 데이터 분포의 이해: 균등, 정규, 지수 분포

메타 설명: 균등, 정규, 지수 분포에 대한 포괄적인 가이드를 통해 데이터 분포의 기초를 파고들어 보세요. 머신 러닝과 데이터 분석에 필수적인 확률 밀도 함수와 확률 질량 함수를 이해하세요.

목차

    서론
    균등 분포
    정규 분포
    지수 분포
    확률 밀도 함수 (PDF)
    확률 질량 함수 (PMF)
    결론


서론

데이터 분석 및 머신 러닝 분야에서 데이터 분포를 이해하는 것은 매우 중요합니다. 데이터 분포는 데이터 포인트가 어떤 값의 범위에 걸쳐 어떻게 퍼져 있거나 군집되어 있는지를 설명합니다. 이러한 지식은 적절한 통계 방법, 모델링 기술을 선택하고 결과를 정확하게 해석하는 데 도움이 됩니다. 이 글에서는 일반적으로 사용되는 세 가지 데이터 분포인 균등 분포, 정규 분포(가우시안), 지수 분포에 대해 자세히 다룹니다. 추가로, 확률 이론의 기초 개념인 확률 밀도 함수(PDF)와 확률 질량 함수(PMF)에 대해서도 살펴보겠습니다.

균등 분포

균등 분포란?

균등 분포는 지정된 범위 내의 모든 데이터 포인트가 발생할 동등한 확률을 가지는 분포입니다. 각 공이 동일한 선택 확률을 가지는 완벽하게 균형 잡힌 복권 공 머신을 상상해 보세요.

균등 분포의 특성


    동등한 확률: 정의된 구간 내에서 모든 결과가 동등하게 가능성이 있습니다.
    집중 없음: 데이터 포인트가 특정 값 주변에 군집되지 않고 고르게 분포되어 있습니다.
    그래프 표현: 확률 분포 그래프는 범위 전체에 걸쳐 일정한 확률을 나타내는 평평한 직선입니다.


시각적 표현

Python의 numpy 및 matplotlib 라이브러리를 사용하여 균등 분포를 시각화해 봅시다:





		
		
			
			
Java
			
			import numpy as np
import matplotlib.pyplot as plt

values = np.random.uniform(0, 10, 100000)
plt.hist(values, 50)
plt.title('Uniform Distribution')
plt.xlabel('Value')
plt.ylabel('Frequency')
plt.show()
			
				
					
				
					1
2
3
4
5
6
7
8
9
				
						import numpy as np
import matplotlib.pyplot as plt
 
values = np.random.uniform(0, 10, 100000)
plt.hist(values, 50)
plt.title('Uniform Distribution')
plt.xlabel('Value')
plt.ylabel('Frequency')
plt.show()
					
				
			
		





그림: 0과 10 사이의 데이터 포인트가 균등 분포를 나타내는 히스토그램입니다.

정규 분포

정규 분포란?

정규 분포, 또는 가우시안 분포는 데이터 포인트가 평균을 중심으로 군집하는 종 모양의 곡선입니다. 중심극한정리에 따라 독립적인 랜덤 변수의 합은 원래 분포에 관계없이 정규 분포로 수렴하기 때문에 통계학에서 가장 중요한 분포 중 하나입니다.

정규 분포의 특성


    대칭성: 분포는 평균을 중심으로 완벽하게 대칭입니다.
    평균, 중앙값, 최빈값: 중심 경향성의 세 가지 측정값이 모두 동일합니다.
    분산: 표준 편차에 의해 결정되며, 시그마가 클수록 종곡선이 넓어집니다.
    그래프 표현: 평균을 중심으로 데이터가 집중된 종 모양의 곡선입니다.


시각적 표현

정규 분포가 어떻게 생겼는지 살펴봅시다:





		
		
			
			
Java
			
			values = np.random.normal(0, 1.5, 100000)
plt.hist(values, 50)
plt.title('Normal Distribution')
plt.xlabel('Value')
plt.ylabel('Frequency')
plt.show()
			
				
					
				
					1
2
3
4
5
6
				
						values = np.random.normal(0, 1.5, 100000)
plt.hist(values, 50)
plt.title('Normal Distribution')
plt.xlabel('Value')
plt.ylabel('Frequency')
plt.show()
					
				
			
		





그림: 평균 0, 표준 편차 1.5인 정규 분포를 나타내는 히스토그램입니다.

지수 분포

지수 분포란?

지수 분포는 푸아송 과정에서 이벤트 사이의 시간을 모델링합니다. 이는 지속적으로 독립적으로 일정한 평균 속도로 발생하는 이벤트를 의미합니다. 지수 분포는 처음에 데이터 포인트의 밀도가 높고 이후에는 급격히 감소하는 비대칭 분포입니다.

지수 분포의 특성


    왜도: 오른쪽으로 매우 왜곡되어 긴 꼬리를 가집니다.
    무기억성: 다음 간격에서 이벤트가 발생할 확률은 과거 이벤트와 무관합니다.
    그래프 표현: 원점 근처의 뾰족한 피크와 지수적인 감소를 보입니다.


시각적 표현

지수 분포를 플롯해 봅시다:





		
		
			
			
Java
			
			from scipy.stats import expon

x = range(0, 10)
plt.plot(x, expon.pdf(x))
plt.title('Exponential Distribution')
plt.xlabel('Value')
plt.ylabel('Probability Density')
plt.show()
			
				
					
				
					1
2
3
4
5
6
7
8
				
						from scipy.stats import expon
 
x = range(0, 10)
plt.plot(x, expon.pdf(x))
plt.title('Exponential Distribution')
plt.xlabel('Value')
plt.ylabel('Probability Density')
plt.show()
					
				
			
		





그림: 값이 증가함에 따라 확률이 급격히 감소하는 지수 분포입니다.

확률 밀도 함수 (PDF)

확률 밀도 함수란?

확률 밀도 함수 (PDF)는 연속 랜덤 변수가 특정 값을 취할 확률의 밀도를 설명합니다. 이산 분포와 달리 연속 분포는 가능한 값이 무한히 많기 때문에 특정 정확한 값의 확률은 사실상 0입니다. 대신 PDF는 값의 범위에 걸친 확률을 설명합니다.

주요 사항


    연속 데이터: 데이터 포인트가 범위 내의 임의의 값을 취할 수 있는 연속 변수에 적용됩니다.
    곡선 아래 면적: PDF의 구간에 대한 적분은 그 구간 내에 변수가 속할 확률을 나타냅니다.
    일반적인 사용 사례: 정규 분포는 PDF를 사용하여 범위에 걸친 확률을 계산하는 일반적인 예입니다.


시각적 표현

Seaborn을 사용하여 부드러운 PDF 플롯을 그려봅시다:





		
		
			
			
Java
			
			import pandas as pd
import seaborn as sb

sb.set()
values = np.random.normal(0, 1, 200)
sb.distplot(values, kde=True)
plt.title('Probability Density Function')
plt.xlabel('Value')
plt.ylabel('Density')
plt.show()
			
				
					
				
					1
2
3
4
5
6
7
8
9
10
				
						import pandas as pd
import seaborn as sb
 
sb.set()
values = np.random.normal(0, 1, 200)
sb.distplot(values, kde=True)
plt.title('Probability Density Function')
plt.xlabel('Value')
plt.ylabel('Density')
plt.show()
					
				
			
		





그림: 정규 분포된 데이터셋의 PDF를 나타내는 부드러운 곡선입니다.

확률 질량 함수 (PMF)

확률 질량 함수란?

확률 질량 함수 (PMF)는 이산 랜덤 변수에 적용됩니다. 변수의 가능한 각 값에 확률을 할당하며, 모든 확률의 합이 1이 되도록 합니다.

주요 사항


    이산 데이터: 개별적이고 별개의 값을 가지는 변수(예: 정수)에 적합합니다.
    구체적인 확률: 각 값에 정확한 확률이 할당됩니다.
    일반적인 사용 사례: 설문 응답이나 다양한 브랜드의 판매 데이터와 같은 범주형 데이터에 사용됩니다.


시각적 표현

브랜드 판매 확률을 사용한 PMF의 예를 살펴봅시다:





		
		
			
			
Java
			
			x1 = np.array([1, 2, 3, 4, 5])
x_name = ['A brand', 'B brand', 'C brand', 'D brand', 'E brand']
y1 = [55, 85, 96, 88, 99]
plt.bar(x1, y1, color='blue')

x_pmf = np.insert(x1, [0, 5], [0, 6])
y_pmf = np.insert(y1, [0, 5], [0, 0])

plt.plot(x_pmf, y_pmf, marker='o', color='red')
plt.title('Probability Mass Function')
plt.xlabel('Brands')
plt.xticks(x1, x_name)
plt.ylabel('Probability of Sale (%)')
plt.show()
			
				
					
				
					1
2
3
4
5
6
7
8
9
10
11
12
13
14
				
						x1 = np.array([1, 2, 3, 4, 5])
x_name = ['A brand', 'B brand', 'C brand', 'D brand', 'E brand']
y1 = [55, 85, 96, 88, 99]
plt.bar(x1, y1, color='blue')
 
x_pmf = np.insert(x1, [0, 5], [0, 6])
y_pmf = np.insert(y1, [0, 5], [0, 0])
 
plt.plot(x_pmf, y_pmf, marker='o', color='red')
plt.title('Probability Mass Function')
plt.xlabel('Brands')
plt.xticks(x1, x_name)
plt.ylabel('Probability of Sale (%)')
plt.show()
					
				
			
		





그림: 다양한 브랜드의 판매 확률을 보여주는 PMF입니다.

결론

데이터 분포를 이해하는 것은 데이터 분석과 머신 러닝에서 매우 중요합니다. 균등 분포는 모든 결과가 동등한 가능성을 가지는 간단한 모델을 제공하며, 정규 분포는 평균 값을 중심으로 데이터가 군집되는 통찰을 제공합니다. 지수 분포는 무기억성 특성을 가진 시간 기반 이벤트를 모델링하는 데 필수적입니다. 이러한 분포를 보완하면서, 확률 밀도 함수 (PDF)와 확률 질량 함수 (PMF)는 각각 연속 데이터와 이산 데이터 집합에서 확률을 계산하는 기본 도구로서 작용합니다.

이러한 개념을 숙달함으로써 데이터 과학자와 분석가는 정보에 입각한 결정을 내리고, 적절한 모델을 선택하며, 데이터를 보다 정확하게 해석할 수 있습니다.

빠른 코드 참조:

실제 구현을 위해 이 글에서 논의된 모든 코드 스니펫과 시각화를 포함하는 관련 Jupyter Notebook을 참고하세요.

관련 기사:


    중심극한정리 설명
    머신 러닝 알고리즘 소개
    통계적 유의성 이해하기


연결 유지:

데이터 과학 및 머신 러닝에 대한 더 많은 통찰과 업데이트를 원하시면 뉴스레터를 구독하고 트위터, 링크드인, 페이스북에서 저희를 팔로우하세요.

© 2024 DataScienceHub. 모든 권리 보유.