ating

Curve是一种用于评估二分类模型性能的图形化工具主要用于展示在不同阈值Threshold下模型的真阳性率True

Positive

ROC曲线最早起源于二战期间用于分析雷达信号检测敌方飞机的能力随后逐渐扩展到其他领域特别是医学诊断。

自20世纪末ROC已被广泛应用于机器学习通过改变分类阈值展示模型将正类与负类区分开来的能力以此找到最佳的模型参数和决策阈值。

基本概念

也称为误差矩阵用于展示实际类别与模型预测类别之间的关系以此评估有监督学习中分类模型的性能。

混淆矩阵对于二分类和多分类问题都适用在流行病学研究中它被应用于评估筛检试验的真实性。

预测实际正例负例正例真阳性TP假阳性FP负例假阴性FN真阴性TN

1.1

精确度Precision模型预测为正类中实际为正类的比例计算公式为

召回率Recall或灵敏度Sensitivity实际为正类中模型预测为正类的比例计算公式为

特异度Specificity实际为负类中模型预测为负类的比例计算公式为

F1分数F1

曲线下面积用于综合评价模型在各种不同阈值下的表现。

AUC的取值范围在0~1常用于量化比较不同分类器的性能AUC值越高表示模型性能越好。

AUC

也称为正确指数常用于确定最佳阈值即约登指数最大的时候模型分类能力最佳。

计算方式为

曲线组成

2.假阳性率是在所有实际负例中被错误地判断为正例的比例作为横坐标

3.阈值是界定正类和负类的分界线。

通过调整阈值模型预测正类的标准更高或更低从而影响到TPR和FPR的值。

ROC曲线上的每一个点都对应一个特定的决策阈值。

曲线绘制在一个坐标图上将FPR作为横轴X轴TPR作为纵轴Y轴。

对于一个二分类模型通过改变决策阈值我们可以得到一系列的FPR,

TPR点将这些点连线就形成了ROC曲线。

理想情况下最好的预测模型的ROC曲线会尽可能地靠近左上角意味着具有更高的TPR和更低的FPR。