高维空间往往比低维空间更容易线性可分#xff0c;因此可以通过一些非线性变换将已知…7.

核方法

对于严格线性可分问题感知机、SVM等算法都可以提供很好的解决方案但对于非线性分类问题需要一个非线性转换来将其变为线性问题。

高维空间往往比低维空间更容易线性可分因此可以通过一些非线性变换将已知维度计算出新的维度便有可能将非线性问题变为线性问题。

\phi

可能是非常复杂的而根据概率派思想将一个问题最终看做一个优化问题则往往需要计算内积如

\left

即可直接得到内积结果就可以很大程度简化优化的难度因此核方法诞生了

K(\vec{x}_i,

)属于希尔伯特空间希尔伯特空间指完备的、可能是无限维的、被赋予内积的线性空间使得

K(\vec{x}_i,

function配分函数表示包含了所有状态信息的函数常用于归一化等用途例如将某函数

\hat{p}(\vec{x}\

\vec{\theta})\frac{1}{z}\hat{p}(\vec{x}\

\vec{\theta})

p(x|\theta)\frac{1}{\sqrt{2\pi}\cdot\sigma}\exp\left

\right

-\frac{1}{2}\log(2\pi\cdot\sigma^2)

\right

\frac{1}{2}\log(2\pi\cdot\sigma^2)

\right

​⋅σ1​exp{−2σ2(x−μ)2​}exp{−21​log(2π⋅σ2)}⋅exp{−2σ21​(x2−2μ⋅x)−2σ2μ2​}exp{[σ2μ​​−2σ21​​]⋅[xx2​]−(2σ2μ2​21​log(2π⋅σ2))}.​(8.1)

\vec{\eta}\left

]^T,\eta_1\frac{\mu}{\sigma^2},\eta_2-\frac{1}{2\sigma^2}

​[σ2μ​​−2σ21​​]T,η1​σ2μ​,η2​−2σ21​同时

\phi(x)\left

A(\vec{\eta})\frac{\mu^2}{2\sigma^2}

\frac{1}{2}\log(2\pi\cdot\sigma^2)

-\frac{\eta_1^2}{4\eta_2}\frac{1}{2}\log(-\frac{\pi}{\eta_2})

A(η

​)2σ2μ2​21​log(2π⋅σ2)−4η2​η12​​21​log(−η2​π​)即得到了一维高斯分布的指数族分布形式。

8.3.

最大熵令熵值最大的概率分布情况通常分布越趋向于等可能/均匀分布熵值越大因此最大熵也是等可能的量化分析。

f_1(x)

​(x)[f1​(x)​f2​(x)​⋯​fQ​(x)​]则可以对其求期望

E_{\hat{p}}[\vec{f}(x)]\vec{\Delta

Ep^​​[f

E_p[\vec{f}(x)]E_{\hat{p}}[\vec{f}(x)]\vec{\Delta}

\end{matrix}\right.

p(x)\lambda_0[1-\sum_xp(x)]\vec{\lambda}^T(\vec{\Delta}-E_p[\vec{f}(x)])

L(p,λ0​,λ

p1)-\sum_x\lambda_0-\sum_x\vec{\lambda}^T\vec{f}(x)

​(x)令其为0则解得

\vec{\lambda}^T\vec{f}(x)\lambda_0-1

p(x)exp{λ