S02L06 – 最常见的数据分布

html
理解常见的数据分布：均匀分布、正态分布和指数分布

Meta 描述：通过我们关于均匀分布、正态分布和指数分布的全面指南，深入了解数据分布的基础。理解概率密度函数和概率质量函数，这些是机器学习和数据分析中必不可少的。

目录

    介绍
    均匀分布
    正态分布
    指数分布
    概率密度函数 (PDF)
    概率质量函数 (PMF)
    结论


介绍

在数据分析和机器学习领域，理解数据分布至关重要。数据分布描述了数据点在一系列值上的分布或聚集方式。这些知识有助于选择适当的统计方法、建模技术，并准确解释结果。本文深入探讨了三种常用的数据分布：均匀分布、正态分布（高斯分布）和指数分布。此外，我们还将探讨概率密度函数 (PDF) 和概率质量函数 (PMF)，这是概率论中的基础概念。

均匀分布

什么是均匀分布？

 均匀分布 是指在指定范围内的每个数据点发生的概率相等。想象一个完全平衡的抽奖球机，每个球都有相同的被选中的机会。

均匀分布的特征


    相等的概率： 在定义的区间内，所有结果的可能性相等。
    无集中性： 数据点均匀分布，没有集中在任何特定值周围。
    图形表示： 概率分布图是一条平坦的直线，表示整个范围内概率恒定。


可视化表示

让我们使用 Python 的 numpy 和 matplotlib 库来可视化均匀分布：





		
		
			
			
Java
			
			import numpy as np
import matplotlib.pyplot as plt

values = np.random.uniform(0, 10, 100000)
plt.hist(values, 50)
plt.title('Uniform Distribution')
plt.xlabel('Value')
plt.ylabel('Frequency')
plt.show()
			
				
					
				
					1
2
3
4
5
6
7
8
9
				
						import numpy as np
import matplotlib.pyplot as plt
 
values = np.random.uniform(0, 10, 100000)
plt.hist(values, 50)
plt.title('Uniform Distribution')
plt.xlabel('Value')
plt.ylabel('Frequency')
plt.show()
					
				
			
		





图：显示0到10之间数据点均匀分布的直方图。

正态分布

什么是正态分布？

 正态分布，也称为 高斯分布，是一种钟形曲线，数据点聚集在均值周围。由于中心极限定理的缘故，它是统计学中最重要的分布之一。中心极限定理指出，无论原始分布如何，独立随机变量的和趋向于正态分布。

正态分布的特征


    对称性： 分布在均值周围完全对称。
    均值、中位数、众数： 三个集中趋势测量值相等。
    离散度： 由标准差决定；较大的标准差会导致钟形曲线更宽。
    图形表示： 钟形曲线，数据集中在均值周围。


可视化表示

下面是一个正态分布的示例：





		
		
			
			
Java
			
			values = np.random.normal(0, 1.5, 100000)
plt.hist(values, 50)
plt.title('Normal Distribution')
plt.xlabel('Value')
plt.ylabel('Frequency')
plt.show()
			
				
					
				
					1
2
3
4
5
6
				
						values = np.random.normal(0, 1.5, 100000)
plt.hist(values, 50)
plt.title('Normal Distribution')
plt.xlabel('Value')
plt.ylabel('Frequency')
plt.show()
					
				
			
		





图：直方图展示了以0为中心，标准差为1.5的正态分布。

指数分布

什么是指数分布？

 指数分布 模型化泊松过程中的事件之间的时间，即以恒定的平均速率连续且独立发生的事件。它高度偏斜，数据点在接近零处高度集中，随后迅速下降。

指数分布的特征


    偏斜性： 向右高度偏斜，具有长尾。
    无记忆性： 事件在下一个区间发生的概率与过去的事件无关。
    图形表示： 在原点附近有一个尖锐的峰，并伴有指数衰减。


可视化表示

让我们绘制一个指数分布：





		
		
			
			
Java
			
			from scipy.stats import expon

x = range(0, 10)
plt.plot(x, expon.pdf(x))
plt.title('Exponential Distribution')
plt.xlabel('Value')
plt.ylabel('Probability Density')
plt.show()
			
				
					
				
					1
2
3
4
5
6
7
8
				
						from scipy.stats import expon
 
x = range(0, 10)
plt.plot(x, expon.pdf(x))
plt.title('Exponential Distribution')
plt.xlabel('Value')
plt.ylabel('Probability Density')
plt.show()
					
				
			
		





图：随着数值增大，概率迅速下降的指数分布。

概率密度函数 (PDF)

什么是概率密度函数？

 概率密度函数 (PDF) 描述了连续随机变量取特定值的可能性。与离散分布不同，连续分布有无限多个可能的值，使得任何单一确切值的概率几乎为零。相反，PDF 描述的是一个值范围内的概率。

要点


    连续数据： 适用于数据点可以在一个范围内取任何值的连续变量。
    曲线下的面积： PDF 在一个区间上的积分表示变量落在该区间内的概率。
    典型用例： 正态分布是一个常见的例子，其中 PDF 用于计算范围内的概率。


可视化表示

使用 Seaborn 绘制平滑的 PDF 走势图：





		
		
			
			
Java
			
			import pandas as pd
import seaborn as sb

sb.set()
values = np.random.normal(0, 1, 200)
sb.distplot(values, kde=True)
plt.title('Probability Density Function')
plt.xlabel('Value')
plt.ylabel('Density')
plt.show()
			
				
					
				
					1
2
3
4
5
6
7
8
9
10
				
						import pandas as pd
import seaborn as sb
 
sb.set()
values = np.random.normal(0, 1, 200)
sb.distplot(values, kde=True)
plt.title('Probability Density Function')
plt.xlabel('Value')
plt.ylabel('Density')
plt.show()
					
				
			
		





图：表示正态分布数据集的 PDF 的平滑曲线。

概率质量函数 (PMF)

什么是概率质量函数？

 概率质量函数 (PMF) 适用于离散随机变量。它为变量可能取的每个值分配一个概率，确保所有概率的总和等于一。

要点


    离散数据： 适用于具有不同、独立值的变量（例如，整数）。
    具体概率： 每个值都有一个确切的相关概率。
    典型用例： 类别数据，如调查响应或不同品牌的销售数据。


可视化表示

以下是使用品牌销售概率的 PMF 示例：





		
		
			
			
Java
			
			x1 = np.array([1, 2, 3, 4, 5])
x_name = ['A brand', 'B brand', 'C brand', 'D brand', 'E brand']
y1 = [55, 85, 96, 88, 99]
plt.bar(x1, y1, color='blue')

x_pmf = np.insert(x1, [0, 5], [0, 6])
y_pmf = np.insert(y1, [0, 5], [0, 0])

plt.plot(x_pmf, y_pmf, marker='o', color='red')
plt.title('Probability Mass Function')
plt.xlabel('Brands')
plt.xticks(x1, x_name)
plt.ylabel('Probability of Sale (%)')
plt.show()
			
				
					
				
					1
2
3
4
5
6
7
8
9
10
11
12
13
14
				
						x1 = np.array([1, 2, 3, 4, 5])
x_name = ['A brand', 'B brand', 'C brand', 'D brand', 'E brand']
y1 = [55, 85, 96, 88, 99]
plt.bar(x1, y1, color='blue')
 
x_pmf = np.insert(x1, [0, 5], [0, 6])
y_pmf = np.insert(y1, [0, 5], [0, 0])
 
plt.plot(x_pmf, y_pmf, marker='o', color='red')
plt.title('Probability Mass Function')
plt.xlabel('Brands')
plt.xticks(x1, x_name)
plt.ylabel('Probability of Sale (%)')
plt.show()
					
				
			
		





图：PMF 显示不同品牌的销售概率。

结论

理解数据分布在数据分析和机器学习中至关重要。 均匀分布 提供了一个简单的模型，其中所有结果的可能性相等，而 正态分布 则提供了关于数据聚集在均值周围的见解。 指数分布 对于建模具有无记忆特性的时间基事件至关重要。衍生于这些分布， 概率密度函数 (PDF) 和 概率质量函数 (PMF) 分别作为在连续和离散数据集中计算概率的基础工具。

通过掌握这些概念，数据科学家和分析师可以做出明智的决策，选择适当的模型，并更准确地解释数据。

快速代码参考：

有关实际实现，请参阅相关的 Jupyter Notebook，其中包含本文讨论的所有代码片段和可视化内容。

相关文章：


    中心极限定理解析
    机器学习算法简介
    理解统计显著性


保持联系：

欲了解更多关于数据科学和机器学习的见解和更新，请订阅我们的新闻通讯，并关注我们的 Twitter、LinkedIn 和 Facebook。

© 2024 DataScienceHub。保留所有权利。