Divergence#xff09;可能是大家熟悉的选择#xff0c…Fisher散度从信息几何到机器学习的隐藏利器

在机器学习和统计学中比较两个概率分布的差异是常见任务比如评估真实分布与模型预测分布的差距。

KL散度Kullback-Leibler

Divergence可能是大家熟悉的选择但今天我们要介绍一个不太常见却同样重要的指标——Fisher散度Fisher

Divergence。

它与Fisher信息矩阵关系密切不仅有深厚的理论根基还在生成模型和变分推断等领域大放异彩。

这篇博客将详细讲解Fisher散度的定义、数学公式、推导过程及其应用特别澄清推导中的关键步骤既通俗易懂也适合研究者深入探索。

Function来度量两个概率分布

之间差异的指标。

它得名于Fisher信息矩阵源于信息几何利用分布的局部曲率来比较“形状”差异。

想象你在比较两座山分布

)。

KL散度像是在测量两座山的“总体体积差”而Fisher散度更像是站在山坡上比较两座山的“坡度”梯度在每个点的差异。

它关注分布的局部变化而非全局概率质量。

Fisher散度的形式因应用场景而异。

最常见的是得分匹配Score

log

DF​(p∥q)∫p(x)∥∇logp(x)−∇logq(x)∥2dx

log

DF​(p∥q)∫p(x)(∇logp(x)−∇logq(x))TI(x)(∇logp(x)−∇logq(x))dx

I(x)

为了理解Fisher散度的来源我们从得分匹配的角度推导其常见形式并解决推导中的疑惑点如交叉项系数调整。

q(x)

L(q)∫p(x)∥∇logp(x)−∇logq(x)∥2dx

展开平方项

L(q)∫p(x)[∥∇logp(x)∥2−2∇logp(x)T∇logq(x)∥∇logq(x)∥2]dx

第一项

的函数梯度较为复杂。

得分匹配的关键是利用分部积分将第三项转换为更易处理的形式。

分部积分简化

∫p(x)∥∇logq(x)∥2dx∫p(x)∇logq(x)T∇logq(x)dx

log

∇logq(x)T∇logq(x)∇logq(x)Tq(x)∇q(x)​

log

∫p(x)∇logq(x)Tq(x)∇q(x)​dx∫∇T[p(x)∇logq(x)]dx−∫∇p(x)T∇logq(x)dx

假设边界项

∫p(x)∥∇logq(x)∥2dx−∫∇p(x)T∇logq(x)dx∫p(x)∇T∇logq(x)dx

log

∫p(x)∥∇logq(x)∥2dx−∫p(x)∇logp(x)T∇logq(x)dx∫p(x)∇T∇logq(x)dx

代回原始损失

L(q)∫p(x)∥∇logp(x)∥2dx−2∫p(x)∇logp(x)T∇logq(x)dx[−∫p(x)∇logp(x)T∇logq(x)dx∫p(x)∇T∇logq(x)dx]

合并交叉项

−2∫p(x)∇logp(x)T∇logq(x)dx−∫p(x)∇logp(x)T∇logq(x)dx−3∫p(x)∇logp(x)T∇logq(x)dx

log

L(q)∫p(x)∥∇logp(x)∥2dx−3∫p(x)∇logp(x)T∇logq(x)dx∫p(x)∇T∇logq(x)dx

调整到标准形式

L(q)const∫p(x)[−2∇logp(x)T∇logq(x)∇T∇logq(x)]dx

为什么从

L(q)const∫p(x)[−2∇logp(x)T∇logq(x)∇T∇logq(x)]dx

验证最小化此损失求变分导数为零得

DF​(p∥q)≥0等于0当且仅当∇logp(x)∇logq(x)几乎处处

p(x)

用途训练生成模型如得分基模型。

方法通过最小化Fisher散度模型

q(x)

的得分函数再用朗之万采样生成样本。

优势无需归一化常数适合高维数据如图像。

扩散模型Diffusion

联系反向去噪过程依赖得分估计Fisher散度是训练核心。

例子Stable

Diffusion

Fisher散度通过得分函数差异量化分布距离兼具理论优雅与实践威力。

它在得分匹配和扩散模型中大放异彩推导中的分部积分虽复杂但最终形式清晰简洁确保优化目标正确。

无论是研究分布特性还是生成高质量样本Fisher散度都是不可忽视的利器。

下次遇到分布比较问题试试Fisher散度吧

有疑问或想看例子欢迎留言交流

L(q)∫p(x)∥∇logp(x)−∇logq(x)∥2dx

展开后分部积分将第三项转换为

∫p(x)∥∇logq(x)∥2dx−∫p(x)∇logp(x)T∇logq(x)dx∫p(x)∇T∇logq(x)dx

代回后交叉项系数变成

L(q)∫p(x)∥∇logp(x)∥2dx−3∫p(x)∇logp(x)T∇logq(x)dx∫p(x)∇T∇logq(x)dx

const

L(q)const∫p(x)[−2∇logp(x)T∇logq(x)∇T∇logq(x)]dx

−1)即

−2)只要损失函数的最优解变分导数为零保持一致优化结果不变。

变分导数对

L(q)

δqδL​−3∇logp∇T∇logq0⟹∇logq3∇logp

−2)

δqδL​−2∇logp∇T∇logq0⟹∇logq∇logp

修正原因直接用

δqδL​−5∇logp∇T∇logq0⟹∇logq5∇logp

结论常数