我们已经知道，大模型里有很多参数。训练时会调整它们，平常聊天时通常不会。

但这还没回答一个最直观的问题：

一堆固定的数字，怎么就能变成一句新话？按理说，

“经过注意力、FFN。最终预测下一个 token”这句话没有错，但跳过了最关键的部分：数据到底怎样使用这些权重？

这篇只沿着一个例子往下走，不展开训练、蒸馏和量化。

假设输入是“我喜欢”，为了讲解。约定分成两个 token：

• A = “我”，已经输入。
• B = “喜欢”，已经输入。
• C = “猫”，假设接下来选中了它。
• D = “。其实，”，假设再接下来选中了它。

这里的切分、编号、向量和分数都是教学示意，不是真实模型的测量结果。“我喜欢”也完全可能接出其他内容。

这篇文章讨论常见的、从左到右生成文本的 decoder-only Transformer；层内顺序采用常见的 Pre-Norm 形式，不代表所有模型都完全相同。

一、先分清：词表、代码和权重不是一回事

运行一个模型。通常需要几类东西配合：

组成	负责什么

分词器与词表把文字片段转换成 token ID，也能把 ID 序列还原成文字结构。老实说，配置说明有多少层、每层多宽、多少注意力头等。执行代码规定怎样查表、乘矩阵、计算注意力，还有按什么顺序执行参数权重训练得到的数字。包括、各层 Attention、FFN、归一化参数和 LM Head 等。

这些不一定打包在同一个文件里。比如权重在下载的模型文件中，执行代码可能由推理框架提供。配置用于建立结构，加载器再把权重装进去。

图里最需要区分的是两张“表”：

• 词表记录 ID 和文字片段的对应关系。
• Embedding 权重表记录每个 ID 对应的一串数字，也就是向量。其实，

例如“喜欢”可能被示意为 ID ;按理说，查 Embedding 表后得到 .

只是编号。不表示“喜欢”的程度是 ”。怎么说呢，后续神经网络主要处理的是查出来的向量。不是直接拿这个编号做语义运算。

二、权重怎么参与计算？不是去答案表里查一句话

再看痛点，想知道推理时哪些步骤会读取哪个张量还有为何同一套权重能产生不同输出。

向量可以先理解成“一串数字”，权重矩阵可以先理解成“一张数字表”。最常见的运算是：拿向量里的多个数字。分别乘上表里的权重，再加起来得到一个新数字。换一组权重，就能得到另一个新数字。

输入的两个数字： 、-使用的两个权重： 、算出一个新数字： × + × = 

矩阵乘法，就是把很多这样的计算组织起来一次算出一串新数字。部分计算还会加上叫作“偏置”的参数。

并不是“一个维度只配一个权重，乘完就结束”。一个输出维度，通常会组合多个输入维度的信息。

普通推理时表里的权重不变。但输入向量不同，算出的结果就会不同。 这也是为什么同一个模型既能续写“我喜欢”，也能回答别的问题：

. Attention 与 FFN 分别算什么？

. Attention：先算“参考谁、参考多少”。再混合信息

• 从第一步先来看，用训练好的权重，把输入向量变成三类向量。Q/K 用于计算匹配程度；V 是随后参与混合的信息。
• 再看接下来，用 B 的 Q。与 A,B 的 K 计算分数，接下来缩放并 softmax 得到比例。比例随上下文而变化，并非固定值。
• ：按比例混合 V，再通过多头投影得到更新后的 B 向量，这仍是一串数字。而不是新的 token.

两种易混淆“权重”： 1️⃣ Q/K/V 投影 权重大致固定；2️⃣ Attention 输出比例随本轮输入变化。

. FFN：重新组合当前向量里的数值而非挑 token

• Attention 后得到的新 B 向量 + 原始 B 向量 → 输入 FFN。第一组线性层将维度 到更高，中间再经过 ReLU 等非线性；第二组线性层将其压缩回原宽度，并与原始 B 相加。这一步仅操作当前位置上的向量，而非全局 token 列表.
• 关键提示的观点是。如果中间没有非线性，则连续两次线性变换可合并为一次从而降低表达能力。实际实现往往加入 ReLU 或门控机制，如 Llama 使用门控 FFN.
• FFN 不会直接读取 A 的向量。但因为 Attention 已经把上下文信息注入 B，所以每个位置已知上下文.

. 一层结束后为何还没有新的 token?

• A/B 的更新后的向量会传递给下一层继续 Attention+FFN 的处理；只有当所有 N 层都完成后才进行 LM Head 打分.
• N 层是单次前馈过程，并不等价于生成 N 个 token;每轮生成仅产生一次新的 token.
• The residual connections and pre-norm ensure stable gradients and preserve information flow.

四、LM Head：现在才开始给候选 token 打分

• L​M​H​e​a​d 就是输出层，它自身有训练参数。说起来，有些模型会与 Embedding 权重量共享，以减少存储.
• L​M​H​e​a​d 把最终位置 B 的最终向量与输出嵌入矩阵相乘。得到长度等于词表大小的一串 logits . 示例:

Cand Token	#score
"猫"	"3.2"

• This table is not a pre‑stored answer set;it is computed on fly from current vector and weight matrix.
• • Next step is selection strategy – greedy。sampling,nucleus,top‑k,etc. • Sampling introduces randomness;probabilities do not equal “correctness”. • After selecting “猫”,its ID becomes next input C. • The tokenizer decodes IDs back into visible text.

五、“猫”已生成后下一轮怎么继续？怎么说呢，

• 痛点① ：你可能误认为正在处理和即将生成token都叫做当前token。
• - 在第1轮已知A,B -> 输出C;在第2轮 C 成为已知token 再预测 D。
• - 第1轮仅使用A,B 做推理；第2轮把 C 的ID作为新输入进入网络。
• - KV Cache 可以避免重复计算A。B 的K,V，只需缓存上一轮中的中间状态；此时 C 的 Q,K,V 会被重新计算并写入缓存。
• - 注意时间点 ：刚选中C 时缓存里尚无C自己的 K,V;下一轮真正处理C 时才写入。老实说，

最终把整件事压成四句话：

 " 权 重 是 学 翻 的 算 法 参数。而非预置答案列表."

此内容旨在帮你快速抓住“大模型如何利用重量生成文本”的主要流程。同时解决你对“为什么一样重量却能产生多种句子”的疑惑。

---