。

因此#xff0c;基于几何的方法试图移除那些提供冗余信息的数据点#xff0c;剩下的数据点形成一个核心集合S#xff0c;其中jSj

基于几何的方法假设在特征空间中彼此接近的数据点往往具有相似的属性。

因此基于几何的方法试图移除那些提供冗余信息的数据点剩下的数据点形成一个核心集合S其中jSj

Herding聚集

是一种基于几何的方法它根据特征空间中核心集合的中心点与原始数据集中心点之间的距离选择数据点。

该算法每次以贪婪的方式将一个样本逐步添加到核心集合中以使两个中心点之间的距离最小化。

Herding方法的目标是构建一个代表性的数据子集以捕捉原始数据集的基本信息。

通过选择最小化与核心集合中心的距离的样本它旨在包含最具信息量和代表性的数据点以代表整个数据集。

Herding是基于几何的方法中的一种技术用于数据降维或摘要。

它有助于识别一个较小的数据点集合保留原始数据集的基本特征从而实现更高效的分析和处理同时尽量减少信息损失。

k-Center

problem的方法即从完整数据集T中选择k个样本作为核心集合S使得T中的数据点与S中最近的数据点之间的最大距离最小化

k-Center

Greedy已成功应用于广泛的领域例如主动学和高效的GAN训练。

k-Center

Greedy的目标是选择一组k个样本使得它们能够最好地代表整个数据集并且能够满足最小最大距离的要求。

算法通过贪婪地选择距离当前核心集合最远的样本逐步构建核心集合。

k-Center

Greedy算法的优势在于它的高效性和可扩展性。

它可以在大规模数据集上进行快速计算并且可以通过调整k的值来控制核心集合的大小和代表性。

这使得k-Center

Greedy成为许多应用中的有用工具特别是在需要选择一小部分样本来代表整个数据集的问题中。

不确定性方法Uncertainty

在模型优化中认为置信度较低的样本可能对模型优化的影响大于置信度较高的样本因此应该将其包含在核心集合中。

下面是给定特定分类器和训练时期的常用样本不确定性度量指标即最小置信度Least

Confidence、熵Entropy和边界Margin[9]其中C是类别的数量。

我们按照分数的降序选择样本。

在不确定性方法中最小置信度Least

Confidence是指分类器对某个样本所预测的最低置信度。

熵Entropy是在多分类问题中衡量样本预测概率分布的不确定性的度量当分类器对某个样本的预测概率分布更平坦时熵值越大不确定性越高。

**边界Margin**是指分类器对两个最高概率的类别之间的差异程度边界越大表示分类器对某个样本的预测更加确定。

根据以上不确定性度量指标可以按照分数的降序选择样本。

也就是说将样本按照不确定性度量的分数从高到低进行排序然后选择分数最高的样本加入核心集合。

不确定性方法在主动学习、样本选择和数据集压缩等领域具有广泛的应用。

通过选择具有较高不确定性的样本可以提高模型的鲁棒性和泛化能力并减少对大型数据集的依赖从而加快模型训练和预测的速度。

误差/损失方法Error/Loss

在训练神经网络时认为对误差或损失做出更大贡献的训练样本更为重要。

样本的重要性可以通过每个样本的损失或梯度或者它对其他样本预测的影响来衡量这些样本在模型训练过程中对其他样本预测的影响。

选择具有最大重要性的样本作为核心集合。

遗忘事件Forgetting

Events是指在训练过程中发生遗忘的次数。

Toneva等人计算了在当前时期中被正确分类的样本在前一个时期中被错误分类的次数即accti

acct1i其中accti表示时期t中样本i的预测的正确性True或False。

遗忘次数反映了训练数据的内在特性可以通过删除那些无法遗忘的样本来实现性能的最小损失。

通过基于误差或损失的方法选择样本可以强调那些对模型训练产生更大影响的样本提高模型对重要样本的关注度从而提高模型的性能。

此外通过观察遗忘次数可以了解训练数据的特点并识别出对模型性能影响较小的样本从而实现数据集的压缩或简化减少模型训练和推断的计算负担。

重要性采样Importance

y)对总损失函数的上界贡献也称为敏感性分数。

可以通过以下公式表示

s(x,

y)是具有参数Φ的非负代价函数。

对于T中的每个数据点被选择的概率被设置为p(x,

s(x,

核心集合S是基于这些概率构建的。

类似的想法也在黑盒学习器Black

box

learners中提出其中错误分类的样本将被加权或其采样概率将增加。

通过重要性采样方法选择样本可以更加有效地利用有限的计算资源并提高对重要样本的关注度从而加速模型训练和推断的过程。

Boundary

由于决策边界附近的数据点很难被分离因此最靠近决策边界的数据点也可以作为核心集合的一部分。

DeepFool

尽管无法准确获得到达决策边界的距离但Ducoffe和Precioso在输入空间X中寻求这些距离的近似值。

通过对样本进行扰动直到样本的预测标签发生变化那些需要最小对抗扰动的数据点最接近决策边界。

对比主动学习Contrastive

为了找到靠近决策边界的数据点对比主动学习Cal选择预测概率与其邻居之间差异最大的样本来构建核心集合。

基于决策边界的方法通过关注决策边界附近的样本可以捕捉到类别之间的边界区域从而更好地表示和优化模型。

这些方法可以提高模型对决策边界附近样本的关注度从而提高模型的性能和鲁棒性。

Matching

通常使用随机梯度下降算法来训练深度模型。

因此我们期望通过完整训练数据集产生的梯度P(x,

y)∈T

Mirzasoleiman等人试图找到一个最优的核心集合以在最大误差下近似完整数据集的梯度。

他们将梯度匹配问题转化为一个单调子模函数F的最大化问题并使用贪心算法来优化F。

基于梯度匹配的方法通过近似完整数据集的梯度来选择核心集合从而减少计算和存储的负担。

这些方法可以在减少数据集规模的同时尽可能保留与完整数据集相似的梯度信息从而提高模型在核心集合上的训练效果。

GradMatch方法

相较于Craig方法能够在保持相同梯度匹配误差的情况下使用更小的子集。

GradMatch引入了一个带有系数的平方l2正则化项用于惩罚给个别样本分配较大权重。

为了解决优化问题GradMatch提出了一种贪心算法——正交匹配追踪Orthogonal

Matching

kk为预设常数下达到误差1-exp(−(kr^2_max))。

GradMatch方法通过引入正则化项和贪心算法可以在减小子集规模的同时保持较低的梯度匹配误差。

这有助于进一步减少计算和存储需求并提高在核心集合上的训练效果。