他的基本思想很简单#xff1a;想办法把一个样本集划成两个部分#xff1a;对于空间中的样本点集合#xff0c;我们找到一个超平面把这个样本点集合给分成两个部分#xff0c;其中…这是我读本科的时候第一个接触到的机器学习算法但也是第一个听完就忘的。

。

。

他的基本思想很简单想办法把一个样本集划成两个部分对于空间中的样本点集合我们找到一个超平面把这个样本点集合给分成两个部分其中一部分是正类另一部分是反负类支持向量机的优化目标就是找到一个超平面使得空间中距离超平面最近的点到超平面的几何间距尽可能大这些点就被称为支持向量。

一、最大间隔和超平面

和之前的一样我们给定一个样本集合然后设定,设输入空间中的一个超平面为

其中是超平面的法向量b为偏置决定超平面的位置根据点到直线的距离公式的扩展空间中一点到超平面的欧氏距离为

好了基本上把最大间隔和超平面给了解清楚了说白了就是emm我画个图来展示一下

图1简单示例

其实这个就是个很简单的东西第四张可看可不看主要是前三张图片第一张是y1sin(x)

第二张是y2cos(x*pi/2),第三张是y3y1y2那也就是说怎么样才能从第三张图中把y1和y2给分离出来呢学信号的同学这不就来精神了吗那不就是对吧我直接一个傅里叶变换从时空域变到频率域这不就很简单的能分开了嘛so

easy对吧可是这里咱说的是支持向量机也就是说我们得用支持向量机的观点来给他把(xy1)和(x,y2)这两个信号分开怎么分开我暂时就想了上面提到的变换到频率域去解决当然学信号的人会想到用滤波器或者其他方法总之有很多但是具体怎么做呢大家可以自己去试试找找文献或者技术资料来看看信号的分离或者是信号去噪这方面的我只知道方法很多。

QAQ这个概念就要两页多因为小学抄古诗抄怕了我是真不喜欢抄书但是抄吧首先看一下他的目标是啥通过求解和b找到一个超平面在保证这个超平面能偶正确将样本进行分类的同时要使距离超平面最近的点到超平面的距离尽可能的大说白了就是一个带约束条件的优化问题其约束条件就是超平面可以把样本集合的点都给正确分类喽。

最大化也就是最小化,这里我用后者作为优化目标就让你的计算可以方便了很多。

数学上是完全可以证明支持向量机的超平面存在着唯一性至少有两个支持向量而且超平面的位置仅由这些支持向量决定。

在满足模型能够正确分类的约束条件下使得样本集合中所有点到分割超平面的距离最小这样的超平面可能会有无数个。

表示拉格朗日乘子让lag函数对omega和b求偏导为零然后计算就可以啦详细的我就不写了大家可以自己推一推我也在纸上推一推就不写latex了嘿嘿。