证明一致性不等式#xff1a;

f^2)\ge\max\{P_{\mathrm{err}}(f^1),

P(f1f2)≥max{Perr​(f1),Perr​(f2)}

P_{\mathrm{err}}(f)

P_{\mathrm{err}}(f)\mathbb{E}_{(x,y)\sim

D}[f(x)\ne

S\{(x_1,y_1),\ldots,(x_m,y_m)\}

使用训练集

P_{\mathrm{err}}(f_S)\frac{1}{m}\sum_{i1}^m\mathbf{1}(f_S(x_i)\ne

y_i)

Perr​(fS​)m1​i1∑m​1(fS​(xi​)yi​)

\mathbf{1}(A)

I(S)来判断训练误差是否落在某个区间之内。

具体来说对于给定的常数

\delta\ge

}P_{\mathrm{err}}(f_S)-P_{\mathrm{err}}(f)\epsilon\\

0\text{o***rwise}

f\mathrm{argmin}_{g\in\{-1,1\}^n}P_{\mathrm{err}}(g)

X11​,X21​,…,Xn1​和

Xij​的样本平均值与其期望之间的差异。

根据Hoeffding不等式对于任意

\epsilon0

P\left(\left|\frac{1}{n}\sum_{i1}^nX_i^j-\mathbb{E}[X_i^j]\right|\epsilon\right)\le

2\exp(-2n\epsilon^2)

E[Xij​]P(yi1​yi2​)这个概率可以通过样本外估计得到。

事实上假设从分布

V\{(x_1,y_1),\ldots,(x_m,y_m)\}

V{(x1​,y1​),…,(xm​,ym​)}则相同的概率可以估计为

\hat{P}(y_i^1y_i^2)\frac{1}{m}\sum_{i1}^m\mathbf{1}(y_i^1y_i^2)

P^(yi1​yi2​)m1​i1∑m​1(yi1​yi2​)

在估计

P^(yi1​yi2​)时通过将训练得到的聚类结果应用到验证集

具体来说对于每一个数据点

f2(xi​)中相同的那一个作为其聚类结果然后计算相同的数据点占比。

\hat{P}(y_i^1y_i^2)

P^(yi1​yi2​)实际上是有偏的即估计结果的期望不等于真实值但是可以证明这个偏差是可以控制的。

不难发现当

n充分大时两个随机变量序列的样本平均值与其期望之间的差异会逐渐变小即

\left|\frac{1}{n}\sum_{i1}^nX_i^j-\mathbb{E}[X_i^j]\right|

同时当训练误差与最优误差之差

\DeltaP_{\mathrm{err}}(f_S)-P_{\mathrm{err}}(f)

\epsilon

X-f^2)\ge\max\left\{\frac{1}{2}\exp(-2

\epsilon^2)-\Delta,

P_{\mathrm{err}}(f^1)-P_{\mathrm{err}}(f^2)-2\epsilon\right\}

P(X−f1X−f2)≥max{21​exp(−2nϵ2)−Δ,Perr​(f1)−Perr​(f2)−2ϵ}

\DeltaP_{\mathrm{err}}(f_S)-P_{\mathrm{err}}(f)

ΔPerr​(fS​)−Perr​(f)表示训练误差与最优误差之差

\epsilon

ϵ是控制误差幅度的常数。

这个不等式就是我们想要证明的一致性不等式。