S15L02 – R-cuadrado ajustado

html
Comprendiendo el R-Cuadrado Ajustado en el Análisis de Regresión: Una Guía Integral

Tabla de Contenidos

  Introducción al R-Cuadrado
  Limitaciones de R-Cuadrado
  ¿Qué es el R-Cuadrado Ajustado?
  La Fórmula para el R-Cuadrado Ajustado
  ¿Por Qué Penalizar el R-Cuadrado?
  Cálculo del R-Cuadrado Ajustado: Paso a Paso
  Ejemplo Práctico
  R-Cuadrado Ajustado vs. R-Cuadrado
  Cuándo Usar el R-Cuadrado Ajustado
  Conclusión
  Lecturas Adicionales




Introducción al R-Cuadrado

R-Cuadrado (R²) es una medida estadística que representa la proporción de la varianza de una variable dependiente que es explicada por una variable independiente o variables en un modelo de regresión. En términos más simples, indica qué tan bien se ajustan los datos al modelo de regresión.

Fórmula para R-Cuadrado:





		
		
			
			
Java
			
			\[
R^2 = 1 - \frac{SS_{\text{res}}}{SS_{\text{tot}}}
\]

Where:
- \( SS_{\text{res}} \) = Sum of squares of residuals
- \( SS_{\text{tot}} \) = Total sum of squares
\]
			
				
					
				
					1
2
3
4
5
6
7
8
				
						\[
R^2 = 1 - \frac{SS_{\text{res}}}{SS_{\text{tot}}}
\]
 
Where:
- \( SS_{\text{res}} \) = Sum of squares of residuals
- \( SS_{\text{tot}} \) = Total sum of squares
\]
					
				
			
		



Un valor de R² más cercano a 1 sugiere que el modelo explica una gran parte de la varianza, mientras que un valor más cercano a 0 indica lo contrario.

Limitaciones de R-Cuadrado

Si bien R-Cuadrado es una métrica valiosa, tiene sus limitaciones:


  Sobreajuste: R² siempre aumenta a medida que se agregan más predictores al modelo, incluso si esos predictores son irrelevantes. Esto puede conducir al sobreajuste, donde el modelo funciona bien con los datos de entrenamiento pero mal con datos no vistos.
  Sin Indicación de Causalidad: Un alto R² no implica causalidad entre variables.
  No Considera la Complejidad del Modelo: R² no considera el número de predictores en el modelo, lo que puede llevar a una evaluación engañosa del modelo.


Para abordar estas limitaciones, se introdujo el R-Cuadrado Ajustado.

¿Qué es el R-Cuadrado Ajustado?

R-Cuadrado Ajustado (R² Ajustado) modifica el valor de R² incorporando el número de predictores en el modelo en relación con el número de puntos de datos. Ajusta la adición de variables, proporcionando una medida más precisa del rendimiento del modelo, especialmente en escenarios de regresión múltiple.


  Características Clave:



  Penaliza la adición de predictores innecesarios.
  Puedes disminuir si los predictores añadidos no mejoran suficientemente el modelo.
  Proporciona una visión más equilibrada de la efectividad del modelo.


La Fórmula para el R-Cuadrado Ajustado

La representación matemática del R-Cuadrado Ajustado es la siguiente:





		
		
			
			
Java
			
			\[
R' = 1 - \left( \frac{(1 - R^2)(n - 1)}{n - p - 1} \right)
\]
			
				
					
				
					1
2
3
				
						\[
R' = 1 - \left( \frac{(1 - R^2)(n - 1)}{n - p - 1} \right)
\]
					
				
			
		



Donde:
- \( R' \) = R-Cuadrado Ajustado
- \( R^2 \) = R-Cuadrado
- \( n \) = Tamaño de la muestra
- \( p \) = Número de predictores

Representación Alternativa:





		
		
			
			
Java
			
			\[
R' = R^2 - \left( \frac{p (1 - R^2)}{n - p - 1} \right)
\]
			
				
					
				
					1
2
3
				
						\[
R' = R^2 - \left( \frac{p (1 - R^2)}{n - p - 1} \right)
\]
					
				
			
		



Esta fórmula resalta cómo el R² Ajustado disminuye a medida que aumenta el número de predictores \( p \), especialmente si esos predictores no contribuyen significativamente a explicar la varianza.

¿Por Qué Penalizar el R-Cuadrado?

La razón principal para penalizar el R-Cuadrado en la fórmula del R² Ajustado es prevenir el sobreajuste. Cuando se agregan más predictores a un modelo de regresión:


  Sin Penalización: R² aumentará invariablemente, incluso si los nuevos predictores son irrelevantes.
  Con Penalización (R² Ajustado): La métrica tiene en cuenta el número de predictores, asegurando que solo aquellas variables que contribuyen significativamente al modelo aumenten el valor de R² Ajustado.


Este mecanismo asegura que el modelo se mantenga lo más sencillo posible mientras sigue explicando efectivamente la variabilidad en los datos.

Cálculo del R-Cuadrado Ajustado: Paso a Paso

Vamos a recorrer el cálculo del R-Cuadrado Ajustado con un ejemplo.


  Calcular el R-Cuadrado (R²):
    
      Calcular la suma total de cuadrados (\( SS_{\text{tot}} \)) y la suma de cuadrados de los residuos (\( SS_{\text{res}} \)).
      Usar la fórmula: \( R^2 = 1 - \frac{SS_{\text{res}}}{SS_{\text{tot}}} \).
    
  
  Determinar el Tamaño de la Muestra y el Número de Predictores:
    
      Identificar \( n \) (número de observaciones) y \( p \) (número de predictores).
    
  
  Aplicar la Fórmula del R-Cuadrado Ajustado:
    
      Sustituir los valores en la fórmula:
        



		
		
			
			
Java
			
			\[
R' = 1 - \left( \frac{(1 - R^2)(n - 1)}{n - p - 1} \right)
\]
			
				
					
				
					1
2
3
				
						\[
R' = 1 - \left( \frac{(1 - R^2)(n - 1)}{n - p - 1} \right)
\]
					
				
			
		


      
    
  


Ejemplo Práctico

Escenario:

Supongamos que estás construyendo un modelo de regresión lineal para predecir los precios de las casas basándote en varias características. Después de ajustar el modelo, obtienes:


  R-Cuadrado (R²): 0.85
  Número de Observaciones (n): 100
  Número de Predictores (p): 5


Cálculo:





		
		
			
			
Java
			
			\[
R' = 1 - \left( \frac{(1 - 0.85)(100 - 1)}{100 - 5 - 1} \right) = 1 - \left( \frac{0.15 \times 99}{94} \right) = 1 - \left( \frac{14.85}{94} \right) \approx 1 - 0.158 \approx 0.842
\]
			
				
					
				
					1
2
3
				
						\[
R' = 1 - \left( \frac{(1 - 0.85)(100 - 1)}{100 - 5 - 1} \right) = 1 - \left( \frac{0.15 \times 99}{94} \right) = 1 - \left( \frac{14.85}{94} \right) \approx 1 - 0.158 \approx 0.842
\]
					
				
			
		



Interpretación:

El valor de R² Ajustado de aproximadamente 0.842 indica que, después de considerar el número de predictores, el modelo explica el 84.2% de la varianza en los precios de las casas. Esta ligera disminución respecto al valor original de R² significa el ajuste por la complejidad del modelo.

R-Cuadrado Ajustado vs. R-Cuadrado


  
    Característica
    R-Cuadrado (R²)
    R-Cuadrado Ajustado (R')
  
  
    Considera Predictores
    No
    Sí
  
  
    Sensibilidad al Añadir Predictores
    Sempre aumenta o permanece igual
    Puede aumentar o disminuir según la significancia del predictor
  
  
    Caso de Uso
    Mejor para comparar modelos con el mismo número de predictores
    Mejor para comparar modelos con diferentes números de predictores
  
  
    Penalización por Complejidad
    Ninguna
    Aplica una penalización para desalentar la complejidad innecesaria
  


Punto Clave: Mientras que R² proporciona una medida básica del ajuste del modelo, R² Ajustado ofrece una evaluación más matizada al considerar el número de predictores, lo que lo hace invaluable para la selección y comparación de modelos.

Cuándo Usar el R-Cuadrado Ajustado

El R-Cuadrado Ajustado es particularmente útil en los siguientes escenarios:


  Modelos de Regresión Múltiple: Cuando se manejan múltiples predictores, R² Ajustado ayuda a evaluar el verdadero poder explicativo del modelo.
  Comparación de Modelos: Permite una comparación justa entre modelos con diferentes números de predictores.
  Prevención del Sobreajuste: Al penalizar modelos excesivamente complejos, ayuda a seleccionar modelos más simples que se generalizan mejor a datos no vistos.


Conclusión

Comprender las sutilezas de las métricas de regresión es crucial para construir modelos estadísticos robustos y confiables. Mientras que R-Cuadrado proporciona una base para evaluar el ajuste del modelo, R-Cuadrado Ajustado mejora esta evaluación al considerar el número de predictores, ofreciendo así una medida más precisa del poder explicativo de un modelo. Al integrar el R² Ajustado en tu conjunto de herramientas de evaluación de modelos, puedes tomar decisiones más informadas, asegurando que tus modelos de regresión sean tanto efectivos como eficientes.

Lecturas Adicionales


  Coeficiente de Determinación - Wikipedia
  Regresión Lineal en Python con scikit-learn
  Comprendiendo el Sobreajuste en el Aprendizaje Automático




Referencias:


  Transcripción y materiales complementarios de "S15L02 - Adjusted R-Square.pptx"
Característica	R-Cuadrado (R²)	R-Cuadrado Ajustado (R')
Considera Predictores	No	Sí
Sensibilidad al Añadir Predictores	Sempre aumenta o permanece igual	Puede aumentar o disminuir según la significancia del predictor
Caso de Uso	Mejor para comparar modelos con el mismo número de predictores	Mejor para comparar modelos con diferentes números de predictores
Penalización por Complejidad	Ninguna	Aplica una penalización para desalentar la complejidad innecesaria