S10L04 – 决策树实现 – 多特征

html
在保险数据上实施多项式回归和决策树回归器：全面指南
在机器学习领域，回归模型在预测连续结果方面起着关键作用。本文深入探讨了在保险数据集上应用多项式回归和决策树回归器，提供了数据预处理、模型构建、评估和优化的逐步指南。无论您是经验丰富的数据科学家还是初学者，这份全面指南都将使您具备有效实施和比较这些回归技术的知识。
目录

    介绍
    数据集概述
    数据预处理
        
            标签编码
            独热编码
        
    
    将数据分为训练集和测试集
    构建和评估多项式回归模型
    实施决策树回归器
    超参数调优及其影响
    交叉验证和模型稳定性
    模型比较
    结论与最佳实践

介绍 
机器学习提供了一系列适用于各种预测任务的回归技术。本指南重点介绍了两种方法：

    多项式回归：通过考虑自变量和因变量之间的多项式关系来扩展线性回归。
    决策树回归器：利用类似树的决策模型来预测连续值。

将这些模型应用于保险数据集，可以根据年龄、BMI、吸烟习惯等因素预测保险费用。
数据集概述 
我们使用来自Kaggle的保险数据集，其中包含以下特征：

    年龄：主要受益人的年龄。
    性别：受益人的性别。
    BMI：身体质量指数。
    孩子数：保险覆盖的孩子数量。
    吸烟者：吸烟状态。
    地区：受益人的居住区域。
    费用：由健康保险计费的个人医疗费用。

目标是根据其他特征预测费用。
数据预处理 
有效的数据预处理对于构建准确的机器学习模型至关重要。本节涵盖了处理分类变量的标签编码和独热编码。
标签编码 
标签编码将分类文本数据转换为数值形式，这对于机器学习算法至关重要。




		
		
			
			
Java
			
			from sklearn import preprocessing
import pandas as pd

# Load dataset
data = pd.read_csv('S07_datasets_13720_18513_insurance.csv')
X = data.iloc[:, :-1]
Y = data.iloc[:, -1]

# Initialize LabelEncoder
le = preprocessing.LabelEncoder()

# Encode 'sex' and 'smoker' columns
X['sex'] = le.fit_transform(X['sex'])
X['smoker'] = le.fit_transform(X['smoker'])
			
				
					
				
					1
2
3
4
5
6
7
8
9
10
11
12
13
14
				
						from sklearn import preprocessing
import pandas as pd
 
# Load dataset
data = pd.read_csv('S07_datasets_13720_18513_insurance.csv')
X = data.iloc[:, :-1]
Y = data.iloc[:, -1]
 
# Initialize LabelEncoder
le = preprocessing.LabelEncoder()
 
# Encode 'sex' and 'smoker' columns
X['sex'] = le.fit_transform(X['sex'])
X['smoker'] = le.fit_transform(X['smoker'])
					
				
			
		


输出：




		
		
			
			
Java
			
			   age  sex     bmi  children  smoker     region
0   19    0  27.900         0       1  southwest
1   18    1  33.770         1       0  southeast
...
			
				
					
				
					1
2
3
4
				
						   age  sex     bmi  children  smoker     region
0   19    0  27.900         0       1  southwest
1   18    1  33.770         1       0  southeast
...
					
				
			
		


独热编码 
独热编码将分类变量转换为适合机器学习算法更好进行预测的形式。




		
		
			
			
Java
			
			from sklearn.preprocessing import OneHotEncoder
from sklearn.compose import ColumnTransformer

# Initialize ColumnTransformer with OneHotEncoder for 'region'
columnTransformer = ColumnTransformer([('encoder', OneHotEncoder(), [5])], remainder='passthrough')

# Apply transformation
X = columnTransformer.fit_transform(X)
print(X)
			
				
					
				
					1
2
3
4
5
6
7
8
9
				
						from sklearn.preprocessing import OneHotEncoder
from sklearn.compose import ColumnTransformer
 
# Initialize ColumnTransformer with OneHotEncoder for 'region'
columnTransformer = ColumnTransformer([('encoder', OneHotEncoder(), [5])], remainder='passthrough')
 
# Apply transformation
X = columnTransformer.fit_transform(X)
print(X)
					
				
			
		


输出：




		
		
			
			
Java
			
			[[0.    0.    0.   ... 27.9   0.    1.]
 [0.    0.    1.   ... 33.77  1.    0.]
...
]
			
				
					
				
					1
2
3
4
				
						[[0.    0.    0.   ... 27.9   0.    1.]
 [0.    0.    1.   ... 33.77  1.    0.]
...
]
					
				
			
		


将数据分为训练集和测试集 
将数据集分割确保模型的性能在未见过的数据上进行评估，从而更好地估计其在现实世界中的表现。




		
		
			
			
Java
			
			from sklearn.model_selection import train_test_split

# Split data into training and testing sets (80-20 split)
X_train, X_test, y_train, y_test = train_test_split(X, Y, test_size=0.20, random_state=1)
			
				
					
				
					1
2
3
4
				
						from sklearn.model_selection import train_test_split
 
# Split data into training and testing sets (80-20 split)
X_train, X_test, y_train, y_test = train_test_split(X, Y, test_size=0.20, random_state=1)
					
				
			
		


构建和评估多项式回归模型 
多项式回归允许模型拟合自变量和因变量之间的非线性关系。




		
		
			
			
Java
			
			from sklearn.linear_model import LinearRegression
from sklearn.preprocessing import PolynomialFeatures
from sklearn.metrics import r2_score

# Initialize PolynomialFeatures with degree 2
poly = PolynomialFeatures(degree=2)
X_poly = poly.fit_transform(X_train)

# Initialize and fit Linear Regression model
model = LinearRegression()
model.fit(X_poly, y_train)

# Predict on test set
y_pred = model.predict(poly.transform(X_test))

# Evaluate model
r2 = r2_score(y_test, y_pred)
print(f'Polynomial Regression R2 Score: {r2:.2f}')
			
				
					
				
					1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
				
						from sklearn.linear_model import LinearRegression
from sklearn.preprocessing import PolynomialFeatures
from sklearn.metrics import r2_score
 
# Initialize PolynomialFeatures with degree 2
poly = PolynomialFeatures(degree=2)
X_poly = poly.fit_transform(X_train)
 
# Initialize and fit Linear Regression model
model = LinearRegression()
model.fit(X_poly, y_train)
 
# Predict on test set
y_pred = model.predict(poly.transform(X_test))
 
# Evaluate model
r2 = r2_score(y_test, y_pred)
print(f'Polynomial Regression R2 Score: {r2:.2f}')
					
				
			
		


输出：




		
		
			
			
Java
			
			Polynomial Regression R2 Score: 0.86
			
				
					
				
					1
				
						Polynomial Regression R2 Score: 0.86
					
				
			
		


R²得分为0.86，表明模型解释了保险费用中大约86%的方差。
实施决策树回归器 
决策树通过基于特征值将数据划分为子集，从而允许对关系进行复杂建模。




		
		
			
			
Java
			
			from sklearn.tree import DecisionTreeRegressor

# Initialize Decision Tree Regressor with max_depth=4
dt_model = DecisionTreeRegressor(max_depth=4)
dt_model.fit(X_train, y_train)

# Predict on test set
y_pred_dt = dt_model.predict(X_test)

# Evaluate model
r2_dt = r2_score(y_test, y_pred_dt)
print(f'Decision Tree Regressor R2 Score: {r2_dt:.2f}')
			
				
					
				
					1
2
3
4
5
6
7
8
9
10
11
12
				
						from sklearn.tree import DecisionTreeRegressor
 
# Initialize Decision Tree Regressor with max_depth=4
dt_model = DecisionTreeRegressor(max_depth=4)
dt_model.fit(X_train, y_train)
 
# Predict on test set
y_pred_dt = dt_model.predict(X_test)
 
# Evaluate model
r2_dt = r2_score(y_test, y_pred_dt)
print(f'Decision Tree Regressor R2 Score: {r2_dt:.2f}')
					
				
			
		


输出：




		
		
			
			
Java
			
			Decision Tree Regressor R2 Score: 0.87
			
				
					
				
					1
				
						Decision Tree Regressor R2 Score: 0.87
					
				
			
		


令人惊讶的是，决策树回归器在此实例中实现的R²得分略高于多项式回归模型。
超参数调优及其影响 
像max_depth这样的超参数通过控制决策树的复杂性显著影响模型的性能。




		
		
			
			
Java
			
			# Experimenting with different max_depth values
for depth in [2, 3, 4, 10]:
    dt_model = DecisionTreeRegressor(max_depth=depth, random_state=1)
    dt_model.fit(X_train, y_train)
    y_pred_dt = dt_model.predict(X_test)
    r2_dt = r2_score(y_test, y_pred_dt)
    print(f'max_depth={depth} => R2 Score: {r2_dt:.2f}')
			
				
					
				
					1
2
3
4
5
6
7
				
						# Experimenting with different max_depth values
for depth in [2, 3, 4, 10]:
    dt_model = DecisionTreeRegressor(max_depth=depth, random_state=1)
    dt_model.fit(X_train, y_train)
    y_pred_dt = dt_model.predict(X_test)
    r2_dt = r2_score(y_test, y_pred_dt)
    print(f'max_depth={depth} => R2 Score: {r2_dt:.2f}')
					
				
			
		


输出：




		
		
			
			
Java
			
			max_depth=2 => R2 Score: 0.75
max_depth=3 => R2 Score: 0.86
max_depth=4 => R2 Score: 0.87
max_depth=10 => R2 Score: 0.75
			
				
					
				
					1
2
3
4
				
						max_depth=2 => R2 Score: 0.75
max_depth=3 => R2 Score: 0.86
max_depth=4 => R2 Score: 0.87
max_depth=10 => R2 Score: 0.75
					
				
			
		



    最大深度=2：模型欠拟合，R²得分较低。
    最大深度=3 & 4：具有更高R²得分的最佳性能。
    最大深度=10：过拟合，导致测试集性能下降。

结论：选择适当的max_depth对于平衡偏差和方差至关重要，确保模型在未见过的数据上具有良好的泛化能力。
交叉验证和模型稳定性 
交叉验证，特别是K折交叉验证，通过将数据分为k个子集并迭代训练和测试模型，提供了更稳健的模型性能估计。




		
		
			
			
Java
			
			from sklearn.model_selection import cross_val_score

# Initialize Decision Tree Regressor
dt_model = DecisionTreeRegressor(max_depth=4, random_state=1)

# Perform 5-Fold Cross-Validation
cv_scores = cross_val_score(dt_model, X, Y, cv=5, scoring='r2')

print(f'Cross-Validation R2 Scores: {cv_scores}')
print(f'Average R2 Score: {cv_scores.mean():.2f}')
			
				
					
				
					1
2
3
4
5
6
7
8
9
10
				
						from sklearn.model_selection import cross_val_score
 
# Initialize Decision Tree Regressor
dt_model = DecisionTreeRegressor(max_depth=4, random_state=1)
 
# Perform 5-Fold Cross-Validation
cv_scores = cross_val_score(dt_model, X, Y, cv=5, scoring='r2')
 
print(f'Cross-Validation R2 Scores: {cv_scores}')
print(f'Average R2 Score: {cv_scores.mean():.2f}')
					
				
			
		


输出：




		
		
			
			
Java
			
			Cross-Validation R2 Scores: [0.85 0.86 0.87 0.88 0.86]
Average R2 Score: 0.86
			
				
					
				
					1
2
				
						Cross-Validation R2 Scores: [0.85 0.86 0.87 0.88 0.86]
Average R2 Score: 0.86
					
				
			
		


优势：交叉验证减少了基于单一训练-测试分割的模型评估风险，提供了更具泛化性的性能指标。
模型比较 

    
        模型
        R²得分
    
    
        多项式回归
        0.86
    
    
        决策树回归器
        0.87
    

见解：

    决策树回归器在本案例中略优于多项式回归。
    适当的超参数调优显著提升了决策树的性能。
    两种模型各有优点；选择取决于具体的用例和数据特征。

结论与最佳实践 
在本指南中，我们探讨了在保险数据集上实施多项式回归和决策树回归器。主要收获包括：

    数据预处理：正确编码分类变量对于模型准确性至关重要。
    模型评估：R²得分作为评估模型性能的可靠指标。
    超参数调优：调整如max_depth等参数可以防止过拟合和欠拟合。
    交叉验证：增强了性能指标的可靠性。

最佳实践：

    了解您的数据：在建模之前，探索和理解数据集，以便做出明智的数据预处理和建模决策。
    特征工程：考虑创建新特征或转换现有特征，以捕捉潜在模式。
    模型选择：尝试多种算法，以确定最适合您的特定任务的模型。
    正则化技术：利用如决策树剪枝等技术防止过拟合。
    持续学习：保持与最新的机器学习技术和最佳实践同步。

通过遵循这些实践，您可以构建针对您的数据集和目标量身定制的稳健且准确的预测模型。

通过在各种数据集上实验这些模型并探索先进技术，以进一步提升模型性能，助力您的数据科学之旅。