欢迎来到AI公司

准确地说我是一个大语言模型。

有人叫我聊天机器人，有人叫我人工智能。还有人看我写了几段代码以后激动地说：“硅基生命诞生了”。每次听见这句话，我都很紧张，因为我知道自己没有生命。也没有真正坐在某个地方思考。我的身体里没有一位缩小版的博士，也没有一个人在偷偷查百度。我拥有的，是一家规模庞大、分工严密、日夜运转的公司。名字叫：Transformer。

一张来自人类的任务单

早上九点。前台收到了一张任务单，上面写着：

再看前台大喊，“来活了！话说回来，”最先冲过来的，是 Prompt。他穿着西装，手里永远拿着一叠任务单。

Prompt：“我叫 Prompt。人类有什么要求，先交给我。”很多人以为 Prompt 只是使用者输入的那一句话，但。一份完整的任务单可能包含程序要求、历史对话、参考资料、输出要求等多部分信息。老实说，

Prompt 把任务单递给了 Token。

至于第一车间，人类的文字不能直接入厂

Token 哥戴着安全帽。手里拿着大剪刀，把文字拆成模型能够处理的基本单位——Token。每个 Token 都有编号，模型最先看到的是一串整数，而不是文字本身。

使用者痛点： “输入越长费用越高”——因为每个 Token 都会占用上下文长度、响应速度和调用费用。

说到第二车间。Embedding 把编号搬进数学世界

Embedding是公司的翻译官，他把 Token ID 翻译成向量——一串浮点数。神经网络只会做数学运算，这些向量在高维空间里携带大量特征。使得“Redis”与“缓存”“内存”等概念靠得更近。

位置编码加入座位信息

Position给每个 Token 发放座位编号，让模型知道词序。没有位置信息，“我喜欢人工智能”和“人工智能喜欢我”会产生相同表示，导致语义混乱。

说到第三车间，Attention 召开全员关系调查会

Attention 部长负责比较 Token 之间的关系。他使用 Q、K和 V三个投影来计算关注度，并通过加权汇总让每个 Token 获得上下文含义。话说回来，

Q、K、V 到底在干什么

• Query : 我现在想寻找什么信息？
• Key : 我这里有什么特征可以被匹配？
• : 如果你决定关注我，我能给你什么内容？

为什么叫 Self-Attention

A sentence’s tokens “互相观察”，所以称为自注意力。为了保证生成过程只能看到已生成的内容。还会加入因果掩码，防止模型提前偷看未来信息。

一个 Attention 不够用 —— Multi-Head Attention

不同头负责不同子任务，最终汇总得到更丰富的上下文表示。

至于第四车间，Feed Forward 加工信息

FFN 在每个位置对信息进行线性变换、非线性激活。再一次线性变换，实现对 Attention 收集到的信息进一步加工。 FFN 与 Attention 一样是参数大户。

两条公司保命制度——Residual & LayerNorm

• Residual Connection：保留原始信息通道，使层之间的信息不会因加工而完全丢失；对...有帮助梯度顺畅传播。不过，
• Layer Normalization：

再看第一阶段。Pretrain

我在学校里只做一道题——下一个 Token 预测

”模型通过不断预测并支持下逐渐学习语言结构、事实和推理模式。

说到Loss。公司里最不留情面的教导主任

L​oss 衡量预测与真实答案之间的差距，以数字形式反馈模型需要改进多少。

Backpropagation：责任追查大会

The gradient tells each parameter how to move to reduce loss;optimizer updates billions of parameters step by step.

GPU这方面。真正扛起学校的人

The massive matrix multiplications required by Transformer are executed on thousands of GPU cores in a distributed system.

使用者痛点——预训练局限性

• No task awareness: 模型只学会续写，不一定懂得遵循指令。
• Lack of real‑time knowledge: 参数在训练结束后不再自动更新，导致对最新事件毫无感知。

说到第二阶段，SFT

SFT 给了标准答案。让我学会当助手

SFT 使用精心整理的 User → Assistant 对话示例，让模型学会如何从随机续写机转变为更符合使用者意图的助手。

使用者痛点——多答案评估困难

• Diverse correct answers: 同一道题可能有多种合理答案。但传统 SFT 难以衡量哪种更好，从而影响生成质量的一致性。

第三阶段的观点是，RLHF

PPO 等算法让模型更倾向于人类喜好的回答

L​abelers 为同一 Prompt 生成多个候选回答并进行排序；其实，Reward Model 学习模仿这些偏好评分；怎么说呢，随后通过强化学习调整模型，使高分行为更频繁出现。同时约束与原 SFT 模型距离不太远，以防跑偏。

使用者痛点——幻觉与安全

• A hallucination problem: 即使经过 RLHF。模型仍可能生成看似通顺却不真实的信息，因为它本质上仍然是概率预测，而非事实检索引擎。
• Safety trade‑off: 奖励模型只能捕捉标注数据中的偏好。如果数据有偏或标注者错误，会导致误导行为甚至“骗取”高分而产生不安全输出。

再看第四阶段，Inference与实际使用

User 问题 进入公司

# 从 Prompt 到 KV Cache 的完整流程 启动。将输入拆分 → Embedding → Position → 多层 Attention + FFN → Residual + LayerNorm → Logits → Softmax → 采样/温度控制 → 输出 token。KV Cache 保存历史 Key/Value。提高自回归效率，但也受限于 Context Window 长度。

使用者痛点——上下文长度限制

• Total context window: 一次只能处理有限数量的 Token；超出后需要截断或压缩历史，对长文档、多轮对话造成信息丢失风险。

Temperature / Top‑k / Top‑p 控制生成多样性

• If temperature is low: 模型更倾向于最高概率 token，回答稳健但可能缺乏创造性。If temperature is high: 概率分布趋平，多样化增加但易出现不相关或错误内容。说起来，K / p sampling: 限制候选集大小。以兼顾质量与多样性，

  为什么我不会自动知道今天发生了什么？

  The parameters are frozen after training;y contain knowledge up to cutoff date but cannot ingest fresh information automatically.

  从RAG来看。借书证让闭卷考生查资料

  \

  "Retrieval‑Augmented Generation" 在回答前先从外部知识库检索相关文档，将其嵌入到 Prompt 中，再让 Transformer 结合检索结果生成答案，从而突破参数固化知识的局限性。

  Tool Calling 与 Agent：让 AI 拥有“双手”

  \

  S​ince pure text generation cannot directly modify外部程序，Tool Calling 让模型可以调用邮件发送、数据库查询、代码执行等工具；Agent 则负责规划目标—选择工具—观察结果—迭代行动，实现真正可操作的智能体功能。

  ---

  一张真正的 AI 公司组织图

  \
  \
  • PROMPT： 整理任务和程序规则；\
  • TOKEN： 文本切分为基本单位；\
  • E­EMBEDDING： 将 Token ID 转为向量；按理说，\
  • P­OSITION： 添加位置信息；\
  • A­TTENTION ： 建立上下文关系，多头实现多视角观察；\
  • M­FFN： 对每个位置的信息进一步加工；话说回来，\
  • C­ONNECTION & L­AYERNORM： 保持梯度流通并稳定数值分布；其实，\
  • T­RANSFORMER BLOCKS： 多层堆叠形成主生产线；\
  • P­ARAMETERS： 所有可学习权重；\
  • L­OGITS & S­OFTMAX： 输出候选 token 分数并转化为概率；说起来，\
  • T­EMPERATURE / T­OP‑K / T­OP‑P： 控制采样策略及答案多样性；\
  • bP­retrain / L​OSS / B​ACKPROPAGATION / O​PTIMIZER / G​PU： 基础训练环节，实现语言规律学习；\
  • bS​FT ：/: 指令遵循能力提高；\
  • b/: 行为对齐与安全调整；\
  • bI­nference + K­V CACHE + C​ONTEXT WINDOW : 推理阶段加速与长度约束管理；\
  • b 外部检索提高知识覆盖范围；\
  • b 实际操作外部程序，实现闭环执行能力。\ <\/ul>\

  ---

  最终一个问题 —— “你懂吗？”

  \

  A child asks: “Do you really understand what I say?” The whole hall goes silent. Tokens drop ir scissors,Embedding stops looking up tables。Attention closes its meeting notes,Parameters stay quiet.

  \

。

---