S02L07 – Percentiles, momento y cuantiles

html
Comprendiendo Conceptos Estadísticos Clave: Porcentajes, Percentiles, Cuartiles y Momentos

Tabla de Contenidos

Introducción
Porcentajes: Lo Básico
Percentiles: Posicionamiento Dentro de los Datos
Cuartiles: Dividiendo Conjuntos de Datos
Momentos: Media, Varianza, Asimetría y Curtosis
Distribuciones de Datos: Normal vs. Exponencial
Implementación Práctica con Python
Conclusión


Introducción
La estadística forma la columna vertebral del análisis de datos, proporcionando herramientas y metodologías para interpretar y dar sentido a los datos. Medidas estadísticas clave como porcentajes, percentiles, cuartiles y momentos ofrecen insights sobre la distribución de los datos, la variabilidad y las tendencias. Este artículo explora estos conceptos en detalle, ilustrando su importancia y aplicación en escenarios del mundo real, especialmente en el aprendizaje automático y la visualización de datos.

Porcentajes: Lo Básico
Porcentaje es un concepto sencillo que representa una parte de 100. Es una medida omnipresente utilizada para expresar proporciones, comparaciones y cambios en diversos contextos.

Calculando el Porcentaje
Para calcular el porcentaje, utiliza la fórmula:
\[
\text{Porcentaje} = \left( \frac{\text{Parte}}{\text{Todo}} \right) \times 100
\]
Ejemplo:

Si obtienes 95 de 100, tu porcentaje es:

\[
\left( \frac{95}{100} \right) \times 100 = 95\%
\]

Para una puntuación de 150 de 200, el porcentaje es:

\[
\left( \frac{150}{200} \right) \times 100 = 75\%
\]
Los porcentajes son fundamentales en varios análisis, desde la calificación académica hasta las evaluaciones de la cuota de mercado.

Percentiles: Posicionamiento Dentro de los Datos
Percentiles indican la posición relativa de un valor dentro de un conjunto de datos. Dividen un conjunto de datos en 100 partes iguales, cada una representando el 1%.

Entendiendo los Percentiles

25º Percentil (Q1): El 25% de los puntos de datos están por debajo de este valor.
50º Percentil (Mediana o Q2): El 50% de los puntos de datos están por debajo de este valor.
75º Percentil (Q3): El 75% de los puntos de datos están por debajo de este valor.


Ejemplo Práctico:
Considera la distribución de la riqueza en una población:

Si el ingreso anual de una familia está en el 25º percentil, significa que el 25% de las familias ganan menos, y el 75% ganan más.
En el 50º percentil (Mediana), la mitad de la población gana menos y la otra mitad gana más.

Representación Visual:
Imagina un gráfico donde el eje x representa percentiles (1 a 99) y el eje y muestra la riqueza acumulada. Tal gráfico ayuda a visualizar la desigualdad de la riqueza, mostrando cómo la riqueza se acumula de manera desproporcionada a través de diferentes percentiles.

Cuartiles: Dividiendo Conjuntos de Datos
Cuartiles dividen un conjunto de datos en cuatro partes iguales, cada una representando el 25% de los datos.

Los Cuatro Cuartiles Clave

Primer Cuartil (Q1): El 25% de los datos están por debajo de este valor.
Segundo Cuartil (Q2): También conocido como la Mediana, donde el 50% de los datos están por debajo.
Tercer Cuartil (Q3): El 75% de los datos están por debajo de este valor.
Cuarto Cuartil (Q4): El 25% más alto de los puntos de datos.


Importancia de los Cuartiles
Los cuartiles son fundamentales para entender la dispersión de los datos y la tendencia central. Son esenciales para construir diagramas de caja, que visualizan la distribución, identifican valores atípicos y comparan diferentes conjuntos de datos.

Componentes del Diagrama de Caja:

Caja: Representa el rango intercuartílico (IQR) entre Q1 y Q3.
Línea de la Mediana: Dentro de la caja, indicando la mediana (Q2).
Bigotes: Se extienden a los valores más pequeños y más grandes dentro de 1.5 * IQR desde Q1 y Q3.
Valores Atípicos: Puntos de datos más allá de los bigotes.


Momentos: Media, Varianza, Asimetría y Curtosis
Momentos son medidas cuantitativas relacionadas con la forma de una distribución de datos. Los primeros cuatro momentos proporcionan valiosos insights sobre las características de los datos:

Primer Momento (Media): El valor promedio.
Segundo Momento (Varianza): Mide la dispersión de los datos alrededor de la media.
Tercer Momento (Asimetría): Indica la asimetría en la distribución.
Cuarto Momento (Curtosis): Describe la "coladicidad" de la distribución.


Explicación Detallada

1. Media
La media es la suma de todos los puntos de datos dividida por el número de puntos. Representa el valor central de los datos.
\[
\text{Media} (\mu) = \frac{\sum_{i=1}^{N} x_i}{N}
\]

2. Varianza
Varianza mide cuánto difieren los puntos de datos de la media.
\[
\text{Varianza} (\sigma^2) = \frac{\sum_{i=1}^{N} (x_i - \mu)^2}{N}
\]
Una varianza más alta indica una mayor dispersión.

3. Asimetría
Asimetría cuantifica la asimetría de la distribución de los datos.

Asimetría Positiva: La cola se extiende hacia la derecha; media > mediana.
Asimetría Negativa: La cola se extiende hacia la izquierda; media < mediana.

\[
\text{Asimetría} = \frac{\frac{1}{N} \sum_{i=1}^{N} (x_i - \mu)^3}{\sigma^3}
\]

4. Curtosis
Curtosis mide la "coladicidad" de la distribución.

Alta Curtosis: Más datos en las colas; pico más agudo.
Baja Curtosis: Menos datos en las colas; pico más plano.

\[
\text{Curtosis} = \frac{\frac{1}{N} \sum_{i=1}^{N} (x_i - \mu)^4}{\sigma^4} - 3
\]
*(La sustracción de 3 normaliza la curtosis de una distribución normal estándar a cero.)*

Distribuciones de Datos: Normal vs. Exponencial
Entender las distribuciones de datos es fundamental en estadística y aprendizaje automático, ya que influye en cómo los modelos interpretan los datos.

Distribución Normal
A menudo referida como la curva de campana, la distribución normal es simétrica respecto a la media, lo que indica que los datos cerca de la media son más frecuentes.

Características:

Media = Mediana = Moda
Definida por parámetros: media (μ) y desviación estándar (σ)
Aproximadamente el 68% de los datos caen dentro de ±1σ, el 95% dentro de ±2σ y el 99.7% dentro de ±3σ desde la media.


Distribución Exponencial
La distribución exponencial se utiliza principalmente para modelar el tiempo entre eventos en un proceso de Poisson. Se caracteriza por un único parámetro, λ (tasa).

Características:

Asimétrica: Sesgada a la derecha con una cola larga.
Propiedad de Falta de Memoria: Las probabilidades futuras son independientes de eventos pasados.


Comparación:
Mientras que la distribución normal es simétrica, la distribución exponencial está sesgada, lo que las hace adecuadas para diferentes tipos de análisis de datos.

Implementación Práctica con Python
Para solidificar la comprensión de estos conceptos, exploremos un ejemplo práctico utilizando las bibliotecas numpy, matplotlib y scipy de Python.

Generando y Visualizando Datos




		
		
			
			
Java
			
			import numpy as np
import matplotlib.pyplot as plt
import scipy.stats as sp

# Generar 100,000 puntos de datos de una distribución normal
values = np.random.normal(0.0, 1.5, 100000)

# Graficar histograma
plt.hist(values, bins=50, edgecolor='k')
plt.title('Histograma de Datos Distribuidos Normalmente')
plt.xlabel('Valor')
plt.ylabel('Frecuencia')
plt.show()
			
				
					
				
					1
2
3
4
5
6
7
8
9
10
11
12
13
				
						import numpy as np
import matplotlib.pyplot as plt
import scipy.stats as sp
 
# Generar 100,000 puntos de datos de una distribución normal
values = np.random.normal(0.0, 1.5, 100000)
 
# Graficar histograma
plt.hist(values, bins=50, edgecolor='k')
plt.title('Histograma de Datos Distribuidos Normalmente')
plt.xlabel('Valor')
plt.ylabel('Frecuencia')
plt.show()
					
				
			
		


Salida:


Calculando Momentos

Primer Momento: Media




		
		
			
			
Java
			
			mean = np.mean(values)
print(f"Media: {mean}")
			
				
					
				
					1
2
				
						mean = np.mean(values)
print(f"Media: {mean}")
					
				
			
		


Salida:





		
		
			
			
Java
			
			Media: 0.00617
			
				
					
				
					1
				
						Media: 0.00617
					
				
			
		




Segundo Momento: Varianza




		
		
			
			
Java
			
			variance = np.var(values)
print(f"Varianza: {variance}")
			
				
					
				
					1
2
				
						variance = np.var(values)
print(f"Varianza: {variance}")
					
				
			
		


Salida:





		
		
			
			
Java
			
			Varianza: 2.24267
			
				
					
				
					1
				
						Varianza: 2.24267
					
				
			
		




Tercer Momento: Asimetría




		
		
			
			
Java
			
			skewness = sp.skew(values)
print(f"Asimetría: {skewness}")
			
				
					
				
					1
2
				
						skewness = sp.skew(values)
print(f"Asimetría: {skewness}")
					
				
			
		


Salida:





		
		
			
			
Java
			
			Asimetría: -0.00366
			
				
					
				
					1
				
						Asimetría: -0.00366
					
				
			
		



*Indica una ligera asimetría negativa.*

Cuarto Momento: Curtosis




		
		
			
			
Java
			
			kurtosis = sp.kurtosis(values)
print(f"Curtosis: {kurtosis}")
			
				
					
				
					1
2
				
						kurtosis = sp.kurtosis(values)
print(f"Curtosis: {kurtosis}")
					
				
			
		


Salida:





		
		
			
			
Java
			
			Curtosis: 0.01309
			
				
					
				
					1
				
						Curtosis: 0.01309
					
				
			
		



*Cerca de cero, indicando una distribución similar a la distribución normal.*

Interpretación

Media (~0): Los datos están centrados alrededor de cero.
Varianza (~2.24): Indica la dispersión de los puntos de datos.
Asimetría (~-0.00366): Casi simétrica; ligera asimetría negativa.
Curtosis (~0.01309): La aplanamiento en comparación con una distribución normal es insignificante.


Conclusión
Una comprensión profunda de conceptos estadísticos como porcentajes, percentiles, cuartiles y momentos es indispensable para un análisis de datos efectivo y el aprendizaje automático. Estas medidas no solo proporcionan insights sobre la distribución y variabilidad de los datos, sino que también sustentan técnicas analíticas avanzadas y procesos de construcción de modelos. Al aprovechar herramientas como numpy y scipy de Python, los profesionales pueden calcular e interpretar estas estadísticas de manera eficiente, impulsando la toma de decisiones informada y fomentando el éxito basado en datos.

Ya sea que estés analizando datos financieros, evaluando demografías poblacionales o afinando modelos de aprendizaje automático, estas estadísticas fundamentales sirven como la base para un análisis robusto y perspicaz.

Lecturas Adicionales

Conceptos Básicos de Estadística: Entendiendo Media, Mediana y Moda
Una Guía sobre Percentiles en el Análisis de Datos
Explorando los Momentos en Estadística
Distribuciones de Datos: Normal vs. Exponencial


*Empodera tu viaje de datos dominando estos conceptos estadísticos esenciales y aplicándolos a escenarios del mundo real.*