精通ROC和AUC：优化阈值以提升机器学习性能

在机器学习领域，尤其是在二分类任务中，有效评估模型性能至关重要。在这一评估过程中，两个关键指标是接收者操作特征（ROC）曲线和ROC曲线下的面积（AUC）。理解如何使用这些指标优化阈值可以显著增强模型的预测能力。本全面指南深入探讨了ROC和AUC，探索了计算最佳阈值的方法，并通过使用Weather Australia数据集的实际案例研究，考察了它们在不平衡数据集中的适用性。

ROC和AUC简介

接收者操作特征（ROC）曲线是一个图形表示，展示了二分类器在不同判别阈值下的诊断能力。该曲线绘制了在各种阈值设定下的真正例率（TPR）与假正例率（FPR）。ROC曲线下的面积（AUC）量化了模型区分正类和负类的整体能力。

为什么ROC和AUC重要

ROC曲线：帮助可视化分类模型在不同阈值下的性能。
AUC：提供一个单一的标量值，总结模型区分类别的能力，无论阈值如何。

阈值选择的重要性

在二分类中，阈值决定了将实例分类为正类或负类的截止点。选择一个最佳阈值至关重要，因为它直接影响精确率、召回率和整体准确率等指标。

关键考虑因素

精确率与召回率之间的平衡：根据问题领域，您可能会优先考虑最小化假正例或假负例。
对业务指标的影响：选择的阈值应与预测错误的现实影响保持一致。

尤登方法用于最佳阈值

尤登J统计量是一种常用的方法，通过最大化真正例率与假正例率之间的差异来确定最佳阈值。数学表达式为：

\[ J = \text{Sensitivity} + \text{Specificity} – 1 \]

最大化\( J \)的阈值被认为是最佳阈值。

在Python中实现尤登方法

from sklearn.metrics import roc_curve

def get_optimal_threshold(y_true, y_scores):
    fpr, tpr, thresholds = roc_curve(y_true, y_scores)
    J = tpr - fpr
    ix = J.argmax()
    return thresholds[ix]

optimal_threshold = get_optimal_threshold(y_test, predicted_probabilities[:,1])

from sklearn.metrics import roc_curve

def get_optimal_threshold(y_true, y_scores):

fpr, tpr, thresholds = roc_curve(y_true, y_scores)

J = tpr - fpr

ix = J.argmax()

return thresholds[ix]

optimal_threshold = get_optimal_threshold(y_test, predicted_probabilities[:,1])

不平衡数据集中ROC的挑战

在不平衡数据集中，ROC曲线有时会对模型的性能表现出过于乐观的看法。当一个类别的数量显著多于另一个类别时，AUC可能会产生误导性，因为模型可能通过主要正确预测多数类来实现高AUC。

缓解策略

使用精确率-召回率（PR）曲线：在类别不平衡的情况下，PR曲线可以提供更有见地的信息。
重采样技术：在训练前应用过采样或欠采样来平衡数据集。

案例研究：澳大利亚天气数据集

为了说明ROC、AUC和阈值优化的概念，我们将分析澳大利亚天气数据集。该数据集是一个二分类问题，目标是根据各种天气参数预测明天是否会下雨。

数据集概述

特征：包括温度、湿度、风速和其他与天气相关的指标。
类别：“Yes”表示下雨，“No”表示明天不下雨。
不平衡：约76%的“否”和22%的“是”类别。

数据预处理步骤

适当的数据预处理对于确保模型评估的可靠性至关重要。

涉及的步骤

处理缺失数据：
- 数值特征：使用平均值策略进行填充。
- 分类特征：使用最频繁策略进行填充。
编码分类变量：
- 标签编码：适用于二元或高基数的分类变量。
- 独热编码：适用于低基数的分类变量。
特征选择：
- 使用SelectKBest和卡方检验选择前10个特征。
特征缩放：
- 应用标准化来规范化特征值。

Python实现代码片段

from sklearn.impute import SimpleImputer
from sklearn.preprocessing import LabelEncoder, OneHotEncoder, StandardScaler
from sklearn.feature_selection import SelectKBest, chi2
from sklearn.compose import ColumnTransformer

# 处理缺失的数值数据
imp_mean = SimpleImputer(strategy='mean')
X[numerical_cols] = imp_mean.fit_transform(X[numerical_cols])

# 处理缺失的分类数据
imp_freq = SimpleImputer(strategy='most_frequent')
X[categorical_cols] = imp_freq.fit_transform(X[categorical_cols])

# 编码分类变量
ct = ColumnTransformer([
    ('onehot', OneHotEncoder(), one_hot_indices)
], remainder='passthrough')
X = ct.fit_transform(X)

# 特征选择
selector = SelectKBest(score_func=chi2, k=10)
X_selected = selector.fit_transform(X, y)

# 特征缩放
scaler = StandardScaler()
X_scaled = scaler.fit_transform(X_selected)

from sklearn.impute import SimpleImputer

from sklearn.preprocessing import LabelEncoder, OneHotEncoder, StandardScaler

from sklearn.feature_selection import SelectKBest, chi2

from sklearn.compose import ColumnTransformer

# 处理缺失的数值数据

imp_mean = SimpleImputer(strategy='mean')

X[numerical_cols] = imp_mean.fit_transform(X[numerical_cols])

# 处理缺失的分类数据

imp_freq = SimpleImputer(strategy='most_frequent')

X[categorical_cols] = imp_freq.fit_transform(X[categorical_cols])

# 编码分类变量

ct = ColumnTransformer([

('onehot', OneHotEncoder(), one_hot_indices)

], remainder='passthrough')

X = ct.fit_transform(X)

# 特征选择

selector = SelectKBest(score_func=chi2, k=10)

X_selected = selector.fit_transform(X, y)

# 特征缩放

scaler = StandardScaler()

X_scaled = scaler.fit_transform(X_selected)

模型构建与评估

利用各种机器学习算法可以全面了解模型在不同场景下的性能。下面，我们探讨了几种模型的实现及其使用ROC和AUC进行的评估指标。

K近邻（KNN）

概述：KNN是一种简单的基于实例的学习算法，通过其最近邻居中的多数标签对新实例进行分类。

性能指标：

准确率：85.9%
AUC：79.9%
最佳阈值：0.333

观察：

与默认的0.5相比，最佳阈值略微降低了准确率。
使用最佳阈值时，两类的精确率都有所提高。

逻辑回归

概述：逻辑回归是一种统计模型，基于一个或多个预测变量预测二元结果的概率。

性能指标：

准确率：87.2%
AUC：88.4%
最佳阈值：0.132

观察：

该模型的AUC高于KNN。
较低的阈值显著提高了精确率，使模型对正类更敏感。

高斯朴素贝叶斯

概述：高斯朴素贝叶斯应用贝叶斯定理，假设特征之间独立，并假设数值特征服从高斯分布。

性能指标：

准确率：83.1%
AUC：0.884
最佳阈值：0.132

观察：

AUC与逻辑回归相当。
精确率平衡，但召回率较低，表明对正类的精确率更好。

支持向量机（SVM）

概述：SVM是一种监督学习模型，在特征空间中找到分隔类别的最优超平面。

性能指标：

准确率：87.65%
AUC：85.4%
最佳阈值：0.144

观察：

高准确率与可观的AUC。
阈值优化后，精确率和召回率平衡。

决策树

概述：决策树根据特征值将特征空间划分为多个区域，在每个节点做出决策以进行预测。

性能指标：

准确率：82.35%
AUC：0.716
最佳阈值：1.0

观察：

较低的AUC表明在区分类别方面表现较差。
最佳阈值为1.0，表明模型倾向于预测多数类。

随机森林

概述：随机森林是一种集成学习方法，通过构建多个决策树并聚合其结果以提高准确性和稳定性。

性能指标：

准确率：87.25%
AUC：0.876
最佳阈值：0.221

观察：

高AUC和准确率表明性能稳健。
通过阈值优化，正类的召回率有所提高。

AdaBoost

概述：AdaBoost是一种集成技术，通过关注先前被错误分类的实例，将多个弱分类器组合成一个强分类器。

性能指标：

准确率：87.25%
AUC：0.881
最佳阈值：0.491

观察：

优化后，精确率和召回率平衡。
正类的精确率略有提高。

XGBoost

概述：XGBoost是一种强大的梯度提升框架，以其在结构化/表格数据中的效率和性能而闻名。

性能指标：

准确率：87.15%
AUC：0.879
最佳阈值：0.186

观察：

高AUC和准确率。
通过降低阈值，提升了正类的精确率。

模型的比较分析

通过各种指标分析这些模型，可以洞察它们的优势和需要改进的地方：

模型	准确率	AUC	最佳阈值	精确率（正类）	召回率（正类）
KNN	85.9%	0.799	0.333	0.76	0.41
逻辑回归	87.2%	0.884	0.132	0.86	0.43
高斯朴素贝叶斯	83.1%	0.884	0.132	0.86	0.43
SVM	87.65%	0.854	0.144	0.73	0.58
决策树	82.35%	0.716	1.0	0.55	0.53
随机森林	87.25%	0.876	0.221	0.73	0.53
AdaBoost	87.25%	0.881	0.491	0.84	0.46
XGBoost	87.15%	0.879	0.186	0.76	0.53

主要结论：

逻辑回归和高斯朴素贝叶斯展现出最高的AUC，表明强大的区分能力。
决策树表现不佳，AUC低且阈值偏向。
集成方法如随机森林、AdaBoost和XGBoost在阈值优化后表现稳健，精确率和召回率平衡。
SVM在高准确率和合理的AUC之间取得平衡。

ROC的局限性及替代方法

虽然ROC和AUC是评估模型的重要工具，但它们在不平衡数据集的情况下也存在局限性。

局限性

误导性的AUC值：在不平衡数据集中，高AUC可能具有欺骗性，因为模型可能主要预测多数类。
阈值不敏感性：ROC曲线评估所有可能的阈值，这在实际应用中可能不实用，因为实际应用中需要特定的阈值。

替代方法

精确率-召回率（PR）曲线：在类别不平衡的情况下更具信息性，关注精确率与召回率之间的权衡。
F1分数：平衡精确率和召回率，提供一个综合考虑两者的单一指标。

结论

在二分类任务中优化模型性能需要对ROC和AUC等评估指标有深入的理解。通过使用尤登J等方法精心选择阈值，并注意数据集的不平衡性，实践者可以显著提高模型的预测准确性和可靠性。本指南以使用澳大利亚天气数据集的实际案例研究为基础，强调了全面的模型评估和阈值优化在开发稳健机器学习解决方案中的重要性。

关键词：ROC曲线，AUC，阈值优化，二分类，尤登方法，不平衡数据集，机器学习模型评估，逻辑回归，KNN，随机森林，AdaBoost，XGBoost，精确率-召回率曲线。

S29L03 – ROC，AUC – 计算最佳阈值（尤登方法）

精通ROC和AUC：优化阈值以提升机器学习性能

目录

ROC和AUC简介

为什么ROC和AUC重要

阈值选择的重要性

关键考虑因素

尤登方法用于最佳阈值

在Python中实现尤登方法

不平衡数据集中ROC的挑战

缓解策略

案例研究：澳大利亚天气数据集

数据集概述

数据预处理步骤

涉及的步骤

Python实现代码片段

模型构建与评估

K近邻（KNN）

逻辑回归

高斯朴素贝叶斯

支持向量机（SVM）

决策树

随机森林

AdaBoost

XGBoost

模型的比较分析

ROC的局限性及替代方法

局限性

替代方法

结论