话说回来，

这篇文章用 「春眠不觉」→ 补全「晓」 走通 Transformer 从输入到输出的完整链路。文首流程图用字符输入演示各步；后文示例多用整句 「春眠不觉晓」。示例模型为 uer/gpt2-chinese-cluecorpussmall。

Transformer 整体框架

痛点：看到一堆术语却不知道它们在实际推理中是怎么衔接的？说起来，下面用「春眠不觉」→补全「晓」串起全流程。帮助你把抽象框架映射到每一步的真实操作。不过，

再看输入，"春眠不觉"
│
▼
┌─────────────────────────────────────────┐
│ . Tokenize │
│ │
└─────────────────────────────────────────┘
│
▼
┌─────────────────────────────────────────┐
│ . 编码 │
│ │ ← 示例 ID
└─────────────────────────────────────────┘
│
▼
┌─────────────────────────────────────────┐
│ . Embedding │
│ 查表得 │
└─────────────────────────────────────────┘
│
▼
┌─────────────────────────────────────────┐
│ . 位置编码 │
│ 与 vi 相加：输入i = vi + pi │
└─────────────────────────────────────────┘
│
▼
┌─────────────────────────────────────────┐
│ . Decoder × N 层│
│ • Masked Self-Attention │
│ • Feed-Forward Network │
│ • 残差连接 + LayerNorm │
│ （Encoder‑Decoder 架构才有 Cross‑Attention。│
│ 纯 GPT 无此项） │
└─────────────────────────────────────────┘
│
▼
┌─────────────────────────────────────────┐
│ . Linear │
│ 隐状态 → 词表大小 → logits│
└─────────────────────────────────────────┘>
▼
┌─────────────────────────────────────────┐
| . Softmax |
|   logits → 词表上的概率分布 |
└─────────────────────────────────────────┘
▼
说到概率示意，→ 「晓」对应下标概率最高
▼
输出 Token："晓"
至于最终句子，"春眠不觉晓"

后文各节按 → 的顺序展开说明。

文本转换为 Token

痛点：很多人卡在「为什么要把文字切成 token？」还有「不同模型的分词方式有什么区别？」这里给出直观答案，

词元化到底是干什么的？

Transformer 第一步先必须把文字变成数字序列。模型只能做矩阵运算，不能直接处理汉字或英文。

分词器做什么？

对应上文流程图的第1、2步，由 Tokenizer 完成：

	人类视角	模型视角
输入「春眠不觉晓」后得到的 Token ID 序列

送进模型的是 ID 序列不是原始字符串。 分词器主要两件事：

1. 切分：
2. 编码：

注意：

说到三种常见粒度，字、词、子词

粒度	做法	优点	缺点
字/字符级	每个汉字/英文字母单独成 Token	词表小、罕见字符也能表示；序列更长 语义被拆碎	-
词级	直观、易解释	词表巨大。OOV 难处理
子词级 BPE / WordPiece / SentencePiece 等	可控大小的混合切分	兼顾常见与生僻词	实现稍复杂，需要专门学习

当前主流大模型几乎都采用子词分词**：常见词保留完整，生僻词拆成更小片段。

从句子到 ID 序列的实际示例

从原文来看，"春眠不觉晓"

Token 化后：

对应 ID：

解码时再使用 tokenizer 的 .decode` 将 ID 转回文字。

Token 一览表

<\/tbody>\<\/table>

用 Hugging Face 实际跑一次 🚀

# 加载与模型配套的 tokenizer
from transformers import AutoTokenizer
model_name = "uer/gpt2-chinese-cluecorpussmall"
tokenizer = AutoTokenizer.from_pretrained
text = "春眠不觉晓"
# 编码：文本 → Token ID
encoded = tokenizer
print
# 查看每个 ID 对应的子词片段
tokens = tokenizer.tokenize
print
# 解码：Token ID → 文本
decoded = tokenizer.decode
print

Pain point recap: 如果你在调试时发现预测出来的是乱码或意外字符，很可能是因为使用了错误的 tokenizer 或者忘记了对同一模型使用同一 vocab。

TOKEN 转换为向量 —— Embedding 层详解

The first learnable representation 

The embedding matrix has shape . 每个 token id 在矩阵里查找对应行得到一个 d‑dimensional 向量.

代码演示形状变化 📏️​​​​​​​​​​​
python
import torch
from transformers import AutoModel,AutoTokenizer
model_name = "uer/gpt2-chinese-cluecorpussmall"
tokenizer = AutoTokenizer.from_pretrained
model = AutoModel.from_pretrained
text = "春眠不觉晓"
inputs = tokenizer
input_ids = inputs # shape:
print
# 提取嵌入层并前向一次得到 token 向量
embed_layer = model.get_input_embeddings
token_vectors = embed_layer # shape:
print
print
输出典型形状这方面。

符号	常见含义或用途
	BERT 等用于分类/句首聚合
BERT 双句输入时的分隔符
	填充到统一长度
	掩码语言模型训练时遮盖的位置
	GPT 类生成结束标记

维度	含义
0	batch size
1	seq_len
2	hidden_size

• Embedding 是第一个可学习层，它把离散 id 映射到连续语义空间。
• 后续 Transformer Block 会在此基础上不断 向量，使同一个字在不同上下文里拥有不同表达。

Tackling Position Information – Position Embedding 🌍​​​

The plain embedding ignores order — “狗咬人” 与 “人咬狗” 会得到相同向量集合。我们通过加入位置向量来弥补这一缺陷。

实现方式概览的观点是，

方式	说明
正弦位置编码	固定函数。不增参数
可学习位置编码	每个位置都有可训练向量

说到**痛点**，如果你看到“相同 token 在不同位置仍然相同”的现象，请检查是否遗漏了位置嵌入或用了错误的配置文件。

# GPT‑style 可学习位置编码已经内置于 forward 中
from transformers import AutoModel。AutoTokenizer
model_name ="uer/gpt2-chinese-cluecorpussmall"
tokenizer =AutoTokenizer.from_pretrained
model =AutoModel.from_pretrained
inputs =tokenizer
outputs =model # 自动完成 wte + wpe 相加
print #


”，Position Embedding 捕捉“在哪”。

没有位置信息，self‑attention 无法区分前后顺序。

---