Diffusion

通常被视为一种基于监督学习的方法#xff0c;但它的实际训练过程可能结…Diffusion

建议看看感觉普通实验室复现不了这种工作。

复现了也没有太大扩展的意义。

Diffusion

通常被视为一种基于监督学习的方法但它的实际训练过程可能结合一些生成式模型的特点因此更准确的说法是它是一种

需要标注数据

Demonstrations这些数据包含环境状态State和对应的专家动作Action。

模型学习状态到动作的映射。

目标函数

通过最小化生成的动作分布与专家动作分布之间的差异Diffusion

Policy

Model其本质是通过逐步添加噪声并反向生成干净数据的方式建模复杂的分布。

具体体现

不仅学习单一的动作映射还通过扩散过程建模高维复杂动作分布从而能够生成多样性和鲁棒性更强的策略。

从噪声到动作生成

在推理阶段Diffusion

从噪声开始逐步采样最终生成动作。

这样的过程在传统监督学习中并不常见但在生成模型中很常见。

对比强化学习

并不直接依赖奖励信号Reward进行优化而是依赖于专家示范数据的监督因此它与强化学习特别是无模型强化学习的方法不同。

没有环境交互

Diffusion

尽管它借用了监督学习的框架但由于采用了扩散模型进行复杂分布的生成Diffusion

Policy

不完全符合传统监督学习的定义。

这种方法更接近以下几类方法的交集

行为克隆

在某些变体中可能加入类似离线RL的思想利用环境数据进一步优化策略。

Diffusion

可以被视为一种以监督学习为基础的方法但它结合了生成式模型的特点。

严格来说它是

基于生成建模的监督学习方法通常用于行为克隆或策略生成任务。

它不依赖强化学习的奖励信号而是通过学习专家数据分布生成动作策略。

Diffusion

单步动作、动作序列、概率分布或根据任务需求设计的多模态和复合输出。

它的输出灵活多样能适配从低层次控制到高层次规划的不同任务。