Ru果你曾经在 IDE 里单步执行 Python 脚本、观察变量的变化，那你Yi经掌握了Zui直接的“kan见”方式。把同样的思路搬到大语言模型上，只是把“变量”换成了“向量”，把“函数调用”换成了“一层层矩阵乘法”。本文会把整个 Token → 向量 → 注意力 → FFN → Logits 的流水线拆得细细碎碎，让你Ke以像调试代码一样，一行一行地追踪每一次数值变动。

在 LLM 世界里Token 是Zui小的可处理单元。它们不是字符，也不是完整词，而是经过 Byte‑Pair Encoding 合并后的子词。举个例子：

from tiktoken import encoding_for_model
enc = encoding_for_model
print)   # 

上面这段代码把「unbelievable」拆成了三个子词——un, believ, able——每个子词对应一个唯一的整数 ID。这个映射表在训练结束后被冻结，实际推理时只需要一次哈希查表，不再有任何计算。

用公式把整条管线全部展开：

\ \text{Positional}&: \mathbf{x}i = \mathbf{e}i + \mathbf{W}{\text{pos}} \ \text{Layer }l &: \begin{cases} \displaystyle \mathbf{a}^{} = \operatorname{Attn}\big}\big)\ \displaystyle \mathbf{f}^{} = \operatorname{FFN}\big}\big)\ \displaystyle \mathbf{x}^{} = \mathbf{x}^{} + \mathbf{a}^{} + \mathbf{f}^{} \end{cases} \ \text{LM Head}&: \displaystyle \boldsymbol{\ell} = \frac{\mathbf{x}^{}}{\sqrt{d{\text{model}}}}\,\mathbf{W}{\text{lm}}^{\top}\ \text{Softmax}&: p=\frac{\exp}{\sum_{k}\exp} \end{aligned} ]

这套方程把「字符 → 向量 → 多层残差流 → 概率」完整描述出来。

每一层 Zuo自注意力。核心思想是：对每个位置 i，先算出它想要查询什么再找出所有之前位置 j Neng提供哪些信息，Zui后用对应的价值加权求和。

Q = X @ W_Q      # shape 
K = X @ W_K
V = X @ W_V
scores = ) / math.sqrt   # 点积除以 sqrt
weights = torch.softmax, dim=-1)
attn_out = weights @ V

点积公式：

Causal mask 确保"未来"的信息永远不会泄露到当前时刻，这也是自回归模型必须满足的因果约束。

Self‑Attention 完成信息搬运后FFN 再对每个位置Zuo一次「单点」变换：

hidden = gelu      # 升维
ffn_out = hidden @ W_2 + b_2     # 降维回原尺寸
X = X + ffn_out                  # 残差相加

Theorem: FFN Ke以视作一张写死在权重里的 Key‑Value 查找表。 每一行 \ 是一个模式向量，\ 则是对应的知识片段。输入向量与所有模式逐一点积，Zui高匹配度的几行会把它们携带的语义注入到输出中。

A + B = C 那么当我们一步步产生新 Token 时需要重复算一次 Q/K/V。但注意到：

K 和 V 在同一层里对前面的所有位置dou是不变的；

Causal mask 保证新产生的位置只会读取Yi有 K/V。

于是我们Ke以在第一次计算完毕后把这些 K/V 缓存起来——这就是所谓的 K​V Cache. 后续每一步只需要算新的 Query，然后直接去缓存里读 Key/Value，省去大量重复乘法。

PagedAttention、Prompt Cache 等技术正是围绕这块缓存Zuo文章，让显存利用率飙升，却不增加额外算力消耗。

L​M Head 把Zui终残差流投射到词表维度上得到 logits，再经过 softmax 得到概率分布：

logits = x_last @ W_lm.T          # shape 
probs   = torch.softmax
next_id = torch.multinomial
next_token = tokenizer.decode

T​emperature: 温度越低，分布越尖锐；温度越高，则geng倾向于探索低概率选项。

Top‑K / Top‑P : 截掉尾部概率极小的候选，以控制随机性并提升可控性。

Greedy: 直接取概率Zui高者，是Zui保守也Zui常见的基准方案。

with torch.no_grad:
    out = model
    attn_weights = out.attentions   # shape 
    print)

挑选感兴趣的位置，观察它到底把多少注意力分配给 “France”、 “capital”。Ru果某个 Head 总是集中在特定关键词上，你就找到了潜在的“语义路由”。

The Logit Lens 技术直接把任意层的隐藏向量喂进 LM Head，kanRu果此时停下来模型会预测什么。这样Ke以直观kan到答案是在第几层开始出现显著提升。

def logit_lens:
    return model.lm_head
for i in range:
    vec = hidden_states          # Zui后一位 token 的表示
    probs = torch.softmax, dim=-1)
    rank_paris = .sum
    print}, prob={probs:.4%}')

A100 80 GB 上跑 GPT‑Small 时Ru果 batch_size 为 32，则 KV Cache 会瞬间占满显存；改为动态拼 batch 或者使用 vLLM 的分页缓存，douNeng让同等硬件支撑geng多并发请求。

#Token 是语言模型Zui小的数据粒子；它们先被映射成高维向量，再穿过数十层残差网络；每层只往主干道加增量，不会覆盖旧信息。