9-41

…本文是将文章《近似线性可分支持向量机的原理推导》中的公式单独拿出来做一个详细的解析便于初学者更好的理解。

9-41

L(w,b,ξ,α,μ)21​∥w∥2Ci1∑N​ξi​−i1∑N​αi​(yi​(wTxi​b)−(1−ξi​))−i1∑N​μi​ξi​

9-41

9-39转化为一个带有拉格朗日乘子约束的优化问题从而可以使用对偶问题的方法进行求解。

在支持向量机的优化过程中我们通常会遇到约束优化问题。

在这种情况下拉格朗日函数是一种非常有效的工具它允许我们将约束条件和目标函数结合在一起。

通过引入拉格朗日乘子可以将一个约束优化问题转化为无约束的优化问题然后可以通过求解这个拉格朗日函数的极值来获得最优解。

9-41

C∑i1N​ξi​这一项表示误分类惩罚的总和。

通过最小化松弛变量

\xi_i

αi​这是拉格朗日乘子它的作用是将约束条件与目标函数结合起来。

对于每个样本

\alpha_i

(1−ξi​)我们可以使约束条件成立即分类结果与软间隔条件匹配。

(3)

μi​将原始的优化问题及其约束条件结合在一起。

通过优化这个拉格朗日函数我们可以同时考虑

x_i

这一部分代表支持向量机的目标即最大化分类间隔。

最小化这一项可以使得分类超平面与数据点之间的间隔最大化。

(2)

ξi​我们允许某些样本违反分类间隔条件但我们希望通过最小化这一项来减少这些误分类样本的数量。

(3)

这一部分是将原始的分类约束条件引入拉格朗日函数中。

通过引入拉格朗日乘子

\alpha_i

αi​我们可以找到支持向量机的对偶问题。

最终求解对偶问题通过求解对偶问题找到最优的支持向量并确定分类超平面的位置和形状。

9-41

μi​将原始问题的目标函数和约束条件结合在一起。

拉格朗日函数的优化过程使得我们能够有效地解决带有约束的优化问题从而找到最优的分类超平面。