S02L07 – Percentis, momento e quantis

html
Compreendendo Conceitos Estatísticos Chave: Percentuais, Percentis, Quartis e Momentos

Índice

Introdução
Percentuais: Os Fundamentos
Percentis: Posicionamento Dentro dos Dados
Quartis: Dividindo Conjuntos de Dados
Momentos: Média, Variância, Assimetria e Curtose
Distribuições de Dados: Normal vs. Exponencial
Implementação Prática com Python
Conclusão


Introdução
As estatísticas formam a espinha dorsal da análise de dados, fornecendo ferramentas e metodologias para interpretar e dar sentido aos dados. Medidas estatísticas chave como percentuais, percentis, quartis e momentos oferecem insights sobre a distribuição dos dados, variabilidade e tendências. Este artigo explora esses conceitos em detalhes, ilustrando sua importância e aplicação em cenários do mundo real, especialmente em aprendizado de máquina e visualização de dados.

Percentuais: Os Fundamentos
Percentual é um conceito simples que representa uma parte de 100. É uma medida ubíqua usada para expressar proporções, comparações e mudanças em vários contextos.

Calculando Percentual
Para calcular o percentual, use a fórmula:
\[
\text{Percentage} = \left( \frac{\text{Part}}{\text{Whole}} \right) \times 100
\]
Exemplo:

Se você obtiver 95 de 100, seu percentual é:

\[
\left( \frac{95}{100} \right) \times 100 = 95\%
\]

Para uma pontuação de 150 de 200, o percentual é:

\[
\left( \frac{150}{200} \right) \times 100 = 75\%
\]
Percentuais são fundamentais em várias análises, desde avaliações acadêmicas até avaliações de participação de mercado.

Percentis: Posicionamento Dentro dos Dados
Percentis indicam a posição relativa de um valor dentro de um conjunto de dados. Eles dividem um conjunto de dados em 100 partes iguais, cada uma representando 1%.

Compreendendo Percentis

25º Percentil (Q1): 25% dos pontos de dados estão abaixo deste valor.
50º Percentil (Mediana ou Q2): 50% dos pontos de dados estão abaixo deste valor.
75º Percentil (Q3): 75% dos pontos de dados estão abaixo deste valor.


Exemplo Prático:
Considere a distribuição de riqueza em uma população:

Se a renda anual de uma família está no 25º percentil, isso significa que 25% das famílias ganham menos, e 75% ganham mais.
No 50º percentil (Mediana), metade da população ganha menos e metade ganha mais.

Representação Visual:
Imagine um gráfico onde o eixo x representa percentis (1 a 99) e o eixo y mostra a riqueza acumulada. Tal gráfico ajuda a visualizar a desigualdade de riqueza, mostrando como a riqueza se acumula de maneira desproporcional em diferentes percentis.

Quartis: Dividindo Conjuntos de Dados
Quartis dividem um conjunto de dados em quatro partes iguais, cada uma representando 25% dos dados.

Os Quatro Quartis Principais

Primeiro Quartil (Q1): 25% dos dados estão abaixo deste valor.
Segundo Quartil (Q2): Também conhecido como a Mediana, onde 50% dos dados estão abaixo.
Terceiro Quartil (Q3): 75% dos dados estão abaixo deste valor.
Quarto Quartil (Q4): Os 25% mais altos dos pontos de dados.


Importância dos Quartis
Quartis são instrumentais na compreensão da dispersão dos dados e da tendência central. Eles são fundamentais na construção de diagramas de caixa, que visualizam a distribuição, identificam outliers e comparam diferentes conjuntos de dados.

Componentes do Diagrama de Caixa:

Caixa: Representa o intervalo interquartil (IQR) entre Q1 e Q3.
Linha da Mediana: Dentro da caixa, indicando a mediana (Q2).
Bigodes: Estendem-se aos menores e maiores valores dentro de 1.5 * IQR de Q1 e Q3.
Outliers: Pontos de dados além dos bigodes.


Momentos: Média, Variância, Assimetria e Curtose
Momentos são medidas quantitativas relacionadas à forma de uma distribuição de dados. Os quatro primeiros momentos fornecem insights valiosos sobre as características dos dados:

Primeiro Momento (Média): O valor médio.
Segundo Momento (Variância): Mede a dispersão dos dados em relação à média.
Terceiro Momento (Assimetria): Indica a assimetria na distribuição.
Quarto Momento (Curtose): Descreve a "caudatura" da distribuição.


Explicação Detalhada

1. Média
A média é a soma de todos os pontos de dados dividida pelo número de pontos. Representa o valor central dos dados.
\[
\text{Mean} (\mu) = \frac{\sum_{i=1}^{N} x_i}{N}
\]

2. Variância
Variância mede o quanto os pontos de dados diferem da média.
\[
\text{Variance} (\sigma^2) = \frac{\sum_{i=1}^{N} (x_i - \mu)^2}{N}
\]
Uma variância maior indica maior dispersão.

3. Assimetria
Assimetria quantifica a assimetria da distribuição de dados.

Assimetria Positiva: Cauda se estende para a direita; média > mediana.
Assimetria Negativa: Cauda se estende para a esquerda; média < mediana.

\[
\text{Skewness} = \frac{\frac{1}{N} \sum_{i=1}^{N} (x_i - \mu)^3}{\sigma^3}
\]

4. Curtose
Curtose mede a "caudatura" da distribuição.

Alta Curtose: Mais dados nas caudas; pico mais acentuado.
Baixa Curtose: Menos dados nas caudas; pico mais achatado.

\[
\text{Kurtosis} = \frac{\frac{1}{N} \sum_{i=1}^{N} (x_i - \mu)^4}{\sigma^4} - 3
\]
*(A subtração de 3 normaliza a curtose de uma distribuição normal padrão para zero.)*

Distribuições de Dados: Normal vs. Exponencial
Compreender as distribuições de dados é fundamental em estatísticas e aprendizado de máquina, influenciando como os modelos interpretam os dados.

Distribuição Normal
Frequentemente referida como a curva de sino, a distribuição normal é simétrica em relação à média, indicando que dados próximos à média são mais frequentes.

Características:

Média = Mediana = Moda
Definida por parâmetros: média (μ) e desvio padrão (σ)
Aproximadamente 68% dos dados estão dentro de ±1σ, 95% dentro de ±2σ, e 99,7% dentro de ±3σ a partir da média.


Distribuição Exponencial
A distribuição exponencial é principalmente usada para modelar o tempo entre eventos em um processo de Poisson. É caracterizada por um único parâmetro, λ (taxa).

Características:

Assimétrica: Assimetria à direita com uma cauda longa.
Propriedade sem memória: Probabilidades futuras são independentes de eventos passados.


Comparação:
Enquanto a distribuição normal é simétrica, a distribuição exponencial é assimétrica, tornando-as adequadas para diferentes tipos de análises de dados.

Implementação Prática com Python
Para solidificar a compreensão desses conceitos, vamos explorar um exemplo prático usando as bibliotecas numpy, matplotlib e scipy do Python.

Gerando e Visualizando Dados




		
		
			
			
Java
			
			import numpy as np
import matplotlib.pyplot as plt
import scipy.stats as sp

# Generate 100,000 data points from a normal distribution
values = np.random.normal(0.0, 1.5, 100000)

# Plot histogram
plt.hist(values, bins=50, edgecolor='k')
plt.title('Histogram of Normally Distributed Data')
plt.xlabel('Value')
plt.ylabel('Frequency')
plt.show()
			
				
					
				
					1
2
3
4
5
6
7
8
9
10
11
12
13
				
						import numpy as np
import matplotlib.pyplot as plt
import scipy.stats as sp
 
# Generate 100,000 data points from a normal distribution
values = np.random.normal(0.0, 1.5, 100000)
 
# Plot histogram
plt.hist(values, bins=50, edgecolor='k')
plt.title('Histogram of Normally Distributed Data')
plt.xlabel('Value')
plt.ylabel('Frequency')
plt.show()
					
				
			
		


Saída:


Calculando Momentos

Primeiro Momento: Média




		
		
			
			
Java
			
			mean = np.mean(values)
print(f"Mean: {mean}")
			
				
					
				
					1
2
				
						mean = np.mean(values)
print(f"Mean: {mean}")
					
				
			
		


Saída:





		
		
			
			
Java
			
			Mean: 0.00617
			
				
					
				
					1
				
						Mean: 0.00617
					
				
			
		




Segundo Momento: Variância




		
		
			
			
Java
			
			variance = np.var(values)
print(f"Variance: {variance}")
			
				
					
				
					1
2
				
						variance = np.var(values)
print(f"Variance: {variance}")
					
				
			
		


Saída:





		
		
			
			
Java
			
			Variance: 2.24267
			
				
					
				
					1
				
						Variance: 2.24267
					
				
			
		




Terceiro Momento: Assimetria




		
		
			
			
Java
			
			skewness = sp.skew(values)
print(f"Skewness: {skewness}")
			
				
					
				
					1
2
				
						skewness = sp.skew(values)
print(f"Skewness: {skewness}")
					
				
			
		


Saída:





		
		
			
			
Java
			
			Skewness: -0.00366
			
				
					
				
					1
				
						Skewness: -0.00366
					
				
			
		



*Indica uma leve assimetria negativa.*

Quarto Momento: Curtose




		
		
			
			
Java
			
			kurtosis = sp.kurtosis(values)
print(f"Kurtosis: {kurtosis}")
			
				
					
				
					1
2
				
						kurtosis = sp.kurtosis(values)
print(f"Kurtosis: {kurtosis}")
					
				
			
		


Saída:





		
		
			
			
Java
			
			Kurtosis: 0.01309
			
				
					
				
					1
				
						Kurtosis: 0.01309
					
				
			
		



*Próximo de zero, indicando uma distribuição semelhante à distribuição normal.*

Interpretação

Média (~0): Dados centrados em torno de zero.
Variância (~2,24): Indica a dispersão dos pontos de dados.
Assimetria (~-0,00366): Quase simétrica; leve assimetria negativa.
Curtose (~0,01309): Achatar comparado com a distribuição normal é negligenciável.


Conclusão
Uma compreensão profunda de conceitos estatísticos como percentuais, percentis, quartis e momentos é indispensável para uma análise de dados eficaz e para o aprendizado de máquina. Essas medidas não apenas fornecem insights sobre a distribuição e a variabilidade dos dados, mas também sustentam técnicas analíticas avançadas e processos de construção de modelos. Ao utilizar ferramentas como numpy e scipy do Python, os profissionais podem calcular e interpretar essas estatísticas de forma eficiente, direcionando a tomada de decisões informadas e promovendo o sucesso orientado por dados.

Seja analisando dados financeiros, avaliando demografias populacionais ou ajustando modelos de aprendizado de máquina, essas estatísticas fundamentais servem como a base para análises robustas e perspicazes.

Leitura Adicional

Fundamentos de Estatísticas: Compreendendo Média, Mediana e Moda
Um Guia para Percentis na Análise de Dados
Explorando Momentos em Estatísticas
Distribuições de Dados: Normal vs. Exponencial


*Empodere sua jornada de dados dominando esses conceitos estatísticos essenciais e aplicando-os a cenários do mundo real.*