href="https://www.cnblogs.com/orange0005/p/19180218"

title="发布于

tokens。

特别的，下一时刻的特征使用掩码自回归的范式，按批次生成不同位置的token。

---

inline">\(\widehat{\mathcal{G}}\)

inline">\(u^{0:L-1}\)，然后自回归地预测未来的轨迹，直到时间

inline">\(u^0\)。

但额外提供辅助参考

inline">\(u_{\rm{context}}^{0:T}\)，其与目标轨迹共享相同的

PDE

inline">\(\gamma\)，但初始条件不同：

id="31-tokenwise-autoregressive-generation">3.1

Tokenwise

inline">\(|\mathcal{X}|\)

表示空间位置，

连续的自回归如下图所示，分为两阶段：（1）从编码器的输出轨迹

inline">\(Z^L_{\rm{DYN}}\)；（2）借助tokenwise

transformer

data-src="https://gitee.com/li-zhumeng/typora_image/raw/master/img/20251021140523.png"

class="lazyload">

注：这就很像某种空间和内容的分离。

不过本文是先内容后空间。

id="311-causal-transformer">3.1.1

Causal

data-src="https://gitee.com/li-zhumeng/typora_image/raw/master/img/20251021141610.png"

tokens

id="312-mask-autoregressive-generation">3.1.2

Mask

inline">\(Z^L\)（猜测：这个应该是

encoder(

inline">\(\tilde{Z}^L\)。

inline">\(\tilde{Z}^L_\mathcal{M}

\tilde{Z}^L[\mathcal{M}]\)

inline">\(\hat{Z}^L\)（仅在mask位置计算损失）。

inline">\(\hat{Z}^L\)。

inline">\(\hat{Z}^{L,0}\)

由mask

inline">\(\tilde{Z}^{L,s}\)。

（1）子集

inline">\(\text{[MASK]}\)

inline">\(\hat{Z}_i^{L,s}\)，得到

inline">\(\hat{Z}_i^{L,s+1}\)。

（3）重复

inline">\(\hat{Z}^L\)。

令

data-src="https://gitee.com/li-zhumeng/typora_image/raw/master/img/20251021153143.png"

remark:

data-src="https://gitee.com/li-zhumeng/typora_image/raw/master/img/20251021153302.png"

data-src="https://gitee.com/li-zhumeng/typora_image/raw/master/img/20251021153346.png"

---

data-src="https://gitee.com/li-zhumeng/typora_image/raw/master/img/20251021154243.png"

---

本文在技术是略复杂的，不过比起扩散生成方法，效率更高。

本文主要的工作在于隐空间的演化，使用生成方法可以获得更好的表示力。

---

---