在前文我们讨论了分词器如何将一句话拆成子词并映射为 token id 序列，但这些编号本身并不携带任何语义或顺序信息。这篇文章聚焦于 token id 之后的两步关键：先通过嵌入层把离散编号转换为稠密向量。再将位置信息注入，最终进入 Transformer 层。了解这两步是解决大模型推理中“为什么同一组词在不同句子里表现完全不同”的主要痛点。

嵌入层查表

嵌入是把离散的 token id 映射为连续向量的过程。它的实现非常直观：一个形状为 vocab_size × hidden_size 的二维矩阵，每一行对应词表里一个 token 的向量。token id 进来后按行号直接取出对应那一行。完成查表，无需任何复杂运算。

以 Qwen3‑0.6B 为例。其 vocab_size 为 49152，隐藏层维度是 4096，所以嵌入矩阵是一个 49152 行、4096 列的浮点数表格。每个 token 被表示成一个 4096 维的稠密向量——所有维度都是实数，没有大量零元素。

这张表是在训练过程中和模型其他参数一起学出来的。已知相近语义的词在空间中也相近，例如 “king - man + woman ≈ queen”。这说明向量里编码了性别、王室身份等语义维度，词与词的关系可以通过向量加减实现。

大模型词表里的单位是子词，而不是完整单词。例如 “unbelief” 会被拆成 “un”和“belief”，各自有自己的向量。现代模型依赖后续层将子词组合成完整单词的语义。

动手看看嵌入矩阵

下面用 Hugging Face transformers 加载 Qwen/Qwen3‑0.6B 并查看其嵌入层：

import torch
from transformers import AutoModelForCausalLM
model_name = "Qwen/Qwen3-0.6B"
model = AutoModelForCausalLM.from_pretrained
emb = model.get_input_embeddings
print

至于输出。

torch.Size

再验证一下语义性：计算两个单个 token 的余弦相似度：

import torch.nn.functional as F
from transformers import AutoTokenizer
tokenizer = AutoTokenizer.from_pretrained
def vec:
token_id = tokenizer.encode
return emb.weight
pairs =
for a,b in pairs:
sim = F.cosine_similarity,vec,dim=0)
从print来看，.4f}")

输出示例的观点是，

猫 vs 狗: 0.8125
猫 vs 汽车: 0.3217

注意力不知道顺序 – 痛点剖析

虽然嵌入向量解决了语义问题，却仍然缺少顺序信息。Transformer 主要是。它对一批向量做点积计算，只关注集合而不关心先后顺序。说起来，打乱输入顺序，只要仍是同一组向量，输出结果就保持不变。这种性质叫置换等变,它导致“狗咬人”和“人咬狗”在注意力视角下完全等价——显然这是错误的。

下面用 NumPy 验证注意力对顺序无感知：

import numpy as np
rng = np.random.default_rng
d = 64
Wq,Wk,Wv = ) for _ in range)
def attention:
q,k,v = x @ Wq,x @ Wk。x @ Wv
scores = q @ k.T / np.sqrt
scores = np.exp)
weights = scores / scores.sum
return weights @ v
x = rng.normal) # 四个 token
out1 = attention
perm = np.array # 打乱顺序
out2 = attention
inv_perm = np.argsort
print.max:.2e}")

打乱前后的最大差异: 8.12e-16

为什么需要位置编码？痛点回顾

• Pain Point A: 同一句话中一样子词出现不同位置会得到完全相同的查询/键值，导致模型无法区分“早上吃饭”与“吃饭早上”。
• Pain Point B: 在长文本推理时如果没有有效的位置编码。模型会误把远距离的信息当作近距离处理，生成质量骤降。不过，
• Pain Point C: 学习式位置编码需要固定长度表。无法外推到更长上下文，正弦编码虽然可外推，但难以表达相对位置信息；其实，RoPE 则兼顾两者，是当前主流方法。按理说，
• Pain Point D: 需要统一且可 的位置表示。否则会导致跨任务迁移困难。
• Pain Point E: 对低资源语言或自定义 vocab 时可学习的位置编码成本高昂，而公式化方案更易部署。

位置编码演进史概览

正弦绝对位置编码

• 原始 Transformer 用正弦/余弦函数生成固定位置信息；偶数维填 sin，奇数维填 cos，不同维度采用不同频率。
• 至于公式，PE=sin)。cos/d))
• 优点这方面，无需学习参数、可外推到更长长度；缺点：绝对位置信息混合到语义向量中，需要网络自行学习相对关系。

RoPE旋转位置编码

• 苏剑林于2021年提出 RoFormer。 引入旋转矩阵直接作用于 query/key 上，而非加到 embedding 上。
• 实现的观点是，将二维平面上的箭头按位置角度旋转。角度由 position × ω_i 决定，其中 ω_i 是频率随维度指数下降。这种旋转使得内积只依赖于 m−n，即相对位置信息自然体现在注意力分数中。
• 至于优点。绝对位置信息与语义分离，可学习相对位置；无需额外参数，训练收敛更快；天然引入归纳偏置，使得远距离权重衰减，从而提高局部性建模能力。老实说，
  • - 对比传统 sin/cos 编码。它直接把相对位置写进内积，而不是靠网络去学习；在多语言、多模态甚至低资源场景下都表现更稳健。- 同时保持可外推特性，因为 ω_i 与 pos 成线性关系，可按需 至任意长度。

其他位置编码方案简述

• - **学习式绝对位置编码**：给每个 position 一个 learnable embedding，与 word embedding 一样从数据中学得。不具备可外推性，一旦 vocab 或 max_len 改动需重新训练。- **ALiBi**：直接在注意力分数上加线性惩罚项，以距离为函数抑制远程交互。这种硬约束方法在某些长文本任务表现不错。但缺乏灵活性，对极端长文本效果有限。其实，- **Position Interpolation**、**NTK-aware scaling**、**YaRN** 等方法通过插值或 RoPE 基底频率实现外推。
  • - Position Interpolation 把长文本压缩到训练窗口内，再解压恢复；- NTK-aware 调整基底频率，让高低频组拉伸比例符合神经正切核理论；- YaRN 在 NTK 思路上进一步细化高低频处理，并加入温度系数。通过微调即可将 LLaMA 的上下文从 32K 扩到128K。怎么说呢，

满足这些需求的五条标准：

• ID uniqueness:* 每个 position 必须拥有唯一指纹。以避免冲突，
• Boundedness:* 数值范围受限，否则会淹没 semantic 信息。
• Additive or relative expressiveness:* 能体现 tokens 间相距多远，为模型提供足够上下文敏感度。
• Cumulative extrapolation ability:* 在训练未见过的位置也能产生合理表示，支持更长上下文推理。
• * 相同输入始终产出一致结果，提高可复现性与调试效率。

\t\t\t\t \t\t\t\t\t\t \t\t \t"

比较项	正弦绝对定位	RoPE	典型使用者	备注
作用对象 \t	加在嵌入	旋转 query/key	原始 Transformer	无额外参数
类型 \t	绝对定位	内积自然体现相对定位	Qwen/Llama/DeepSeek/Gemma 等
可学习参数 \t	无	无
语义与位置信息混杂吗?不过，\t	混杂	分离清晰
\tnote=\"\"\">none \tnote=\"\"\">none

---

---