。

其基本思路是训练一个回归模型#xff0c;通过对每个数据点进行预测#xff0c;并计算…1、支持向量回归SVR原理

支持向量回归Support

RegressionSVR不仅可以用于预测还可以用于异常值检测。

其基本思路是训练一个回归模型通过对每个数据点进行预测并计算其预测残差来判断该数据点是否为异常值。

在SVR中我们通过最大化预测出错的容忍度margin来寻找最优解。

具体地我们希望找到一个超平面使得所有数据点到该超平面的距离都大于等于一定的阈值margin。

对于线性回归模型该超平面为

w^T

0其中w是超平面法向量b是偏置项x是输入数据。

对于一个输入数据x_i其距离超平面的距离为

y_pred_i

y_i其中y_pred_i是该数据点的预测值y_i是该数据点的真实值。

我们定义预测残差为绝对值

r_i

y_i)那么如果某个数据点的预测残差r_i大于某个阈值则被视为异常值否则视为正常值。

在实际操作中我们需要指定SVR的一些超参数例如核函数类型、核函数参数、惩罚系数等。

这些超参数对于SVR的性能有很大的影响需要根据具体问题进行调整。

2、关键函数svr.fit函数参数

目标值y必选参数形状为(n_samples,)。

sample_weight:

样本权重可选参数形状为(n_samples,)默认每个样本的权重相等。

C:

∞)之间的数。

C越小模型越简单C越大模型越复杂。

调整C的值可以防止过拟合或欠拟合的问题。

kernel:

核函数可选参数默认为’rbf’表示高斯核函数。

常用的核函数还有’linear’线性核函数、poly’多项式核函数、‘sigmoid’

Sigmoid核函数。

核函数的选择决定了模型的复杂度和拟合能力。

degree:

(n_features

X.var())作为gamma值。

也可以设置为’auto’或一个数值。

coef0:

SVR中的ε可选参数默认为0.1。

控制了对误差的容忍度。

如果预测值与真实值的差小于ε该点就被视为预测正确。

shrinking:

是否使用启发式Hearst方法来加速计算可选参数默认为True。

建议保持默认值。

tol:

迭代终止条件可选参数默认为1e-3。

如果模型收敛后两次迭代的损失函数之差小于该值则终止训练。

max_iter:

最大迭代次数可选参数默认为-1表示没有限制。

如果收敛前达到该值则提前终止训练。

cache_size:

3、完整代码