合熵和条件熵四、互信息五、相对熵(KL距离)六、微分熵七、最大熵分布常需要的不等式公式

一、信息论熵、联合熵、条件熵

H(X)E[−log2​p(x)]−x∈X∑​p(x)log2​p(x)

note

H(X)是X的平均香农信息内容H(X)是每个符号的平均信息量二元问题(抛硬币)H(X)取值为[H(X),H(X)1]

为什么用

H(X)H(p)-plog_2p-(1-p)log_2(1-p)

H(X)H(p)−plog2​p−(1−p)log2​(1−p)

note

H(X,Y)−Elogp(x,y)−x∈X∑​y∈Y∑​p(x,y)logp(x,y)

条件熵

H(Y∣X)−Elog(y∣x)−x∈X∑​y∈Y∑​p(x,y)logp(y∣x)

H(Y|X)\sum_{x\in

H(X_1,X_2,....X_n)\sum_{i1}^{n}H(X_i|X_{i-1},....X_1)

H(X1​,X2​,....Xn​)∑i1n​H(Xi​∣Xi−1​,....X1​)

四、互信息

I(X;Y)H(X)-H(X|Y)H(X)H(Y)-H(X,Y)

I(X;Y)H(X)−H(X∣Y)H(X)H(Y)−H(X,Y)

互信息具有对称性

I(X_1,X_2,....X_n;Y)\sum_{i1}^nI(X_i;Y|X_{i-1},....,X_1)

I(X1​,X2​,....Xn​;Y)i1∑n​I(Xi​;Y∣Xi−1​,....,X1​)

五、相对熵(KL距离)

X}p(x)log\frac{q(x)}{p(x)}E_{\vec{p}}[-logq(x)]-H(\vec{p})

D(p

对于连续型随机变量一个以f(x)为密度函数的连续型随机变量X的微分熵h(x)为

h(x)\int_{-\infty}^{\infty}f_X{(x)}logf_X(x)dxE-logf_X(x)

h(x)∫−∞∞​fX​(x)logfX​(x)dxE−logfX​(x)

note

微分熵仅依赖于随机变量的概率密度函数有时候将微分熵写为h(f)微分熵可以为负值

微分熵分类

均匀分布的微分熵高斯分布的微分熵多元高斯分布的微分熵前提条件:随机变量服从均匀分布

X\sim

f(x)\left\{\begin{matrix}\frac{1}{b-a}

,x\in(a,b))

f(x)\frac{1}{(2\pi\sigma^2)^{\frac{1}{2}}}exp\{-\frac{1}{2\sigma^2}(x-\mu)^2\}

f(x)(2πσ2)21​1​exp{−2σ21​(x−μ)2}

f(x)|2\pi\vec{k}|^\frac{1}{2}exp\{-\frac{1}{2}(x-\vec{m})^T\vec

k^{-1}(x-\vec

h(x)\int_a^bf(x)logf(x)dxlog(b-a)

h(x)∫ab​f(x)logf(x)dxlog(b−a)当b-a1时,h(x)0

h(x)-loge\int_{-\infty}^{\infty}f(x)lnf(x)dx\frac{1}{2}log(2\pi

e\sigma^2)

h(x)−loge∫−∞∞​f(x)lnf(x)dx21​log(2πeσ2)

e\vec

条件一幅值约束对于r有限长范围(a,b)使其最大熵的分布是均匀分布

u(x)\frac{1}{b-a}

(x)\|2\pi\vec{k}\|^\frac{1}{2}exp\{-\frac{1}{2}x^T\vec

k^{-1}\vec

h_f(x)\le-(loge)E_f(-\frac{1}{2}ln|2\pi

\vec

0≤D(f∣∣x)hf​(x)−Ef​logϕ(x)→hf​(x)≤−(loge)Ef​(−21​ln∣2πk

∣−21​xTk

H(X1​,X2​,....Xn​)≤∑i1n​H(Xi​)当且仅当

X_i