。

在样本划分和模型验证的过程中#xff0c;存在着不同的抽样方法和验证方法。

…2.10

场景描述

在机器学习中我们通常把样本分为训练集和测试集训练集用于训练模型测试集用于评估模型。

在样本划分和模型验证的过程中存在着不同的抽样方法和验证方法。

本小节主要考察面试者是否熟知这些方法及其优缺点、是否能够在不同问题中挑选合适的评估方法。

知识点

Holdout检验是最简单也是最直接的验证方法它将原始的样本集合随机划分成训练集和验证集两部分。

70%∼30%

的比例分成两部分70%的样本用于模型训练30%的样本用于模型验证包括绘制ROC曲线、计算精确率和召回率等指标来评估模型性能。

缺点Holdout检验的缺点很明显即在验证集上计算出来的最后评估指标与原始分组有很大关系。

为了消除随机性研究者们引入了“交叉检验”的思想。

交叉检验

k-fold交叉验证首先将全部样本划分成k个大小相等的样本子集依次遍历这k个子集每次把当前子集作为验证集其余所有子集作为训练集进行模型的训练和评估最后把k次评估指标的平均值作为最终的评估指标。

在实际实验中k经常取

留一验证每次留下1个样本作为验证集其余所有样本作为测试集。

样本总数为n依次对n个样本进行遍历进行n次验证再将评估指标求平均值得到最终的评估指标。

在样本总数较多的情况下留一验证法的时间开销极大。

事实上留一验证是留p验证的特例。

留p验证是每次留下p个样本作为验证集而从n个元素中选择p个元素有C”种可能因此它的时间开销更是远远高于留一验证故而很少在实际工程中被应用。

自助法

不管是Holdout检验还是交叉检验都是基于划分训练集和测试集的方法进行模型评估的。

然而当样本规模比较小时将样本集进行划分会让训练集进一步减小这可能会影响模型训练效果。

有没有能维持训练集样本规模的验证方法呢?自助法可以比较好地解决这个问题。

自助法是基于自助采样法的检验方法。

对于总数为n的样本集合进行n次有放回的随机抽样得到大小为n的训练集。

n次采样过程中有的样本会被重复采样有的样本没有被抽出过将这些**没有被抽出的样本作为验证集**进行模型验证这就是自助法的验证过程。

在自助法的采样过程中对n个样本进行n次自助抽样当n趋于无穷大时最终有多少数据从未被选择过?

参考文献