今天刚好看到一篇 How LLMs Actually Work 的内容。可以很形象地解释 LLM 究竟是怎么工作的，特别是作者抛开了各种复杂的数学原理，还能直观让你理解 LLM 是怎么工作的。

是不是感觉完全看不懂？别急，我们将用最直白的方式为你解开这些概念之谜：

. Tokenization：模型不读文字，只读整数

"我为什么总是搞不清楚模型到底在处理什么？"

"为什么一样的问题用不同模型回答长度不同？"

"为什么有些特殊符号或新词模型总是处理不好？"

让我们揭开这个谜底：

这个其实很关键。LLM 不直接处理自然语言字符串而是先通过 tokenizer 把文本变成一串整数 ID，每个整数对应词表里的一个 token。

token 不一定是单词，也不一定是字符，更多时候是 subword,比如：

tokenization ->
running -> 

因为如果用整个单独作表。词表会太大,而且遇到新词泛化会变差,如果字符级别词表太小,就会导致序列太长,所以：

这代表着什么呢？

• "strawberry" 里有几个 r?模型可能数不对，- 不是因为不会算术,而是它按 token ID 处理文本;
• 同一句话不同模型可能生成不同 token 数!- 因为 tokenizer 选择不同;
• 特殊符号/新造词可能被拆解! - 模型没有完美 word-piece 化能力;
• 长上下文消耗更多资源!- token 数直接影响计算量和内存使用;
• 语言间能力差异明显!- tokenizer 对某些语言适配更好.

. Embeddings：整数本身没意义。要变成向量

"既然 token 是 ID,那模型怎么理解它们的含义?" "为什么一样的输入有时会得到相似回答?" "如何让机器'理解'人类文字?"

7B级别模型的hidden size可能是4096-10240
说白了每个token会被映射成一个4096维~10240维向量
更大的模型通常会有更宽的向量
hidden size=4096就是给每个token做了一张“4096项特征表”：
苹果 = 香蕉 = 手机 = ...
二维可以表示为：
甜度科技感
苹果水果 =
Apple公司 =
而4096维就是超级复杂“含义雷达图”，它不是只看甜度科技感,而是同时看几千个隐含方向:
是不是名词是不是品牌是不是食物和水果相关程度...
当然真实维度不是这么人工命名,但大概理解就是这样。hidden size=4096就是用4096个数字来表示每个token当前状态.

Embedding 的关键点:

• embedding matrix 是可训练参数之一
• 语义关系通过向量空间距离体现
• 位置信息需要额外编码
• embedding 层容易受噪声干扰
• 大隐藏层尺寸代表着:
  • 更精细的表示能力
  • 学习曲线陡峭
  • 过拟合风险增大

. Positional Encoding：模型怎么知道顺序?

"为什么有时候改一下顺序回答就完全变了?" "长上下文里中间内容经常被忽略" "位置编码真的那么关键吗?"

 

原始Transformer使用正弦/余弦位置编码,把位置信息加到token embedding上。这样“dog at position3”和“dog at position7”会变成不同向量.


RoPE现在主流:
- 在attention中旋转Q/K向量
- 旋转角度取决于token位置
- Query和Key相对旋转差异就编码了距离


Lost in middle问题:
- 开头和信息利用率高
- 中间部分容易被忽略
- 需要在prompt中重复关键约束
- 长上下文≠平均理解所有内容!
\