序列如何自我聚焦？

使用者痛点这方面，为什么 self-attention 比 cross-attention 更受欢迎？其实，

在机器翻译中。cross-attention 能让 decoder 在生成目标语言词汇时「回头看」源语言的哪些位置。但 Transformer 的真正杀手锏是self-attention——让一个序列自己看自己。为什么要这样做，

从 cross 到 self：一个退化方法

cross-attention 是「两个序列对话」

• $Q$Q 是 decoder 的当前状态 $s${t-}st−​，来自目标语言；不过，
• $K,V$K。V 是 encoder 的 hidden states ${h1,\ldots,h_M}${h1​,...,hM​}，来自源语言。

两个不同的序列下一个 target 词时回头看 source 序列的哪些位置」。Bahdanau 的「对齐」就是这种跨序列对话的产物。

cross-attention 有局限性：它只能处理两个固定角色的序列，无法捕捉单一序列内部的复杂关系。

self-attention 的形式：方法！

self-attention 把 $Q,K,V$Q,K。V 三者都从同一序列 X 投影出来：

二、自我聚焦带来的四大变化与挑战！使用者最关心什么，其实，❓❓❓❓❓❓❓❓❓❓❓❓ ⚡️ ⚡️ ⚡️ ⚡️ ⚡️ ⚡️ ⚡️

每个 token 既是查询者又是被查询者——双重身份困惑！🤯🤯🤯🤯🤯🤯🤯🤯🤯🤯 😱 😱 😱 😱 😱 😱 😱 𠂈 𠂈 𠂈 𠂈 𠂈 𠂈 𠂈 责任与权利并存！✅ ✅ ✅ ✅ ✅ ✅ ✅ ✅ ✅ ☑☑☑☑☑☑☑☑☑

在 self-attention 中。每个 token 不仅是查询者，也是被查询者。老实说，这代表着这方面，您必须处理双重身份带来的复杂性：

• 作为查询者时需要学会选择哪些 token 最相关；
• 作为被查询者时需要学会如何提供有价值的信息；
• 这要求模型具有更强大的表征能力和判断力。

任意两 token 之间的距离降为 O——效率革命还是陷阱？🔥🔥🔥🔥🔥🔥

---