写在最前

这是本系列的第 篇，也是收官篇。

前 篇我们从 GPU 程序结构、CUDA 环境、互联网络讲到训练并行、MoE、RLHF；从推理引擎、PagedAttention、vLLM/SGLang 讲到量化、推测解码、长上下文；从 RAG、向量库、Agent 讲到网关、观测、成本与合规。整整六个大部分，把一个大模型基础设施工程师在 年上半年需要掌握的知识骨架铺了一遍。

但基础设施这件事永远没有"学完"的一刻。年 月 ChatGPT 发布时我们还在讨论"Transformer 推理能不能 batch"；两年半后我们在讨论"推理时 Scaling 应该用几棵树""国产千卡集群跑 DeepSeek-V3 的 MFU 能到多少""Blackwell 的 FP4 实战能省多少成本"。下一次大的变盘不会让我们等太久。怎么说呢，

这一篇不讲具体技术实现，而是从一位在工程一线的视角。把未来 – 年可见的演进方向、工程师的成长方法、值得长期追的资源都梳理一遍，给读者一张"接下来往哪走"的路线图。怎么说呢，

全文按"先复盘四年拐点 → 八条趋势 → 工程师方法 → 资源 → 系列索引 → 案例 → 劝退劝进 → "的顺序展开。每一条趋势都尽量给出对基础设施栈的具体影响与可操作的工程建议避免"预测"变成"猜谜"。你可以选择顺读，也可以挑自己最关心的趋势跳读——但十二节的"系列索引"建议留到最终那是系列的完整目录。回看全景时最有用，

一、回顾：– 四年关键拐点

先把过去四年的时间轴钉在一张表上，每一个拐点都对应基础设施栈一次大的"翻篇"。

时间事件基础设施层面的影响.11ChatGPT 发布推理服务化成为新学科；GPU 价格飙升2023.02LLaMA 泄露开源环境起点；消费级 GPU 跑大模型成为可能2023.06vLLM / PagedAttention 论文推理吞吐一夜 × 提高2023.09FlashAttention- / GPTQ / AWQAttention 与量化进入工程常态2024.02Sora 发布视频生成成为"下一个 ChatGPT"预期2024.05GPT-4o / Llama- / DeepSeek-V2多模态端端到端 + MoE 开源重塑训练范式2024.09o1 预览推理时 Scaling 登上舞台2024.12DeepSeek-V3 / Gemini .05M 美金训 670B MoE；推理成本再降 ×.01DeepSeek-R1 / Blackwell B200 量产开源推理模型追平 o1；其实，FP4 成为新基准2025.05Qwen3 / Claude / Grok 3多供应商并举；Agent 能力进入主流2025.09GPT- / Gemini 3推理预算成为一级超参2026.Q1Rubin R100 / MI400 样机下一代训练卡定型

从基础设施栈的角度看。这四年做对了三件事：

1. 把"推理"从训练的附属品，抬成了独立学科。 PagedAttention、Continuous Batching、Speculative Decoding、Disaggregated Prefill/Decode 都是 之后才程序化的。
2. 把"训练万卡"从 Google/OpenAI 的专利，变成了任何一家认真做模型的公司的基本功。 Megatron-LM、DeepSpeed、以 FSDP 为主要的开源栈、加上国产千卡/万卡集群的量产，让 B+模型训练进入" $就能做"的阶段。
3. **把“成本”从 CFO 的烦恼，变成了工程师的 KPI。**单位 token成本每年 × 下降，这个数字的背后全是程序工程师、Kernel工程师、量化工程师的肉搏。按理说，

接下来 – 年的趋势。延续着这三条线索，但在每一条上都会出现新的分叉。

二、趋势一：推理时 Scaling

一张图概览

范式固化

年 月 o1出现之前，业界还在争论“Scaling Law 是不是到头了”。o1给出的答案是：预训练的 Scaling也许放缓了但推理时计算这条轴刚刚开始。 年 DeepSeek-R1、 Qwen QwQ、 Kimi K1.、 Gemini Thinking、 Claude Thinking全面跟进，这条范式已经固化。按理说，

典型推理时 Scaling 有三类：

• **单链长推理**：在回答前生成几千到几万 token 的思考链。o1/R1 路线，
• **多分支采样 + 选择**：并行跑 N 条推理方法，由奖励模型或多数投票选最优。老实说，
• **过程奖励模型引导的树搜索**：在每一步用 PRM打分。剪掉差分支，保留好分支，

对基础设施的新要求

对推理引擎这三类都指向同一件事：**一次“请求”的算力消耗不再可预估**。老实说，一个数学题可能 token出答案。也可能 万 token思考后给答案；一个 Agent任务可能只调一次模型，也可能在树搜索里调 次。

这带来四个基础设施层面的挑战：

1. KV Cache压力剧增。Long CoT 一条2K–1K是常态，单条请求的 KV占用可能比以前一整个 batch还多。长上下文引擎 从“可选调整”变成“必选项”。怎么说呢，
2. Scheduler 要理解“推理预算”。怎么说呢，使用者可以指定 reasoningeffort=low|medium|high。或者 maxthinking_tokens=。网关和引擎都要把这个作为一等参数，用于配额、 计费、 SLO。
3. 多分支并行需要引擎原生支持。怎么说呢，SGLang 的 fork/ RadixAttention。vLLM 的 Prefix Cache、 Outlines 的受约束采样，这些组合在一起才能让 Best-of-N和 MCTS不线性爆炸成本。怎么说呢，
4. PRM / Verifier成为第二个在线模型。除了主模型，你还要部署一个小一些的 Reward/Verifier模型。两者异构共存，还要低延迟通信。 典型部署会把 Verifier 放到同集群的小卡（L2,#8f8f8f7f7f7f7f7f7f7f7f7e34343434343434343434343;910B）上，/PRM 的伪代码，一次 Best-of-N + PRM 的 大致长这样这方面。

async def reason_with_budget :

 shared = await 

 llm.prefill # 前缀共享/params">



 branches = await 

关键词是 shared prefix batch sampling PRM 并行评分。三件事都要引擎原生支持，否则成本会线性爆炸。

一个最小可运行示例

SGLang 原生支持 fork 做并行分支非常自然： python import sglang as sgl

@sgl.function def reasonmulti: s += "Question: " + question + " " forks = s.fork for i,f in enumerate: f += f" " f += sgl.gen forks.join s += sgl.gen("final"。maxtokens=128,prompt_suffix="Pick best answer from above: " + " ".join)

配合 RadixAttention，共享前缀的 KV只计算一次 N 条分支的实际成本约为 prefix_cost + N × branch_cost 而不是 N ×——这一点调整对 Best-of-N很关键。

工程影响

• 计费模型要改从“按 token收费”过渡到“按 token + 思考预算”双轴。不过，

• SLO定义要改TTFT不再是主要指标。TTFA成为新指标，即“使用者从发送到看到最终答案”的墙钟时间。

• 监控维度要改 ：推理链长度分布、 分支选中率、 Verifier命中率都要进 第 ¥&euro，§¶，¤«，®¢，±²，³µ，»篇讲的可观测栈。

• 配额要带维度 ：tenant × reasoning_effort双维度配额，防止单租户开 high 把集群打爆。

从 LLM 到 World Model

¥&euro，§¶，¤«，®¢，±²，³µ，» 年 Sora 让视频生成进入“演示级”，¥&euro，§¶，¤«，®¢，按理说，$¡%¦，'(*+,$ 年 Veo ¥$ 、 Kling ¥$ 、 Vidu Q1、可灵、 Pika 进入“可商用级”，$!$ 年的关键词是 世界模型 ：不只是生成视频，而是生成“ 可交互、可预测物理、可被 Agent调用” 的 D世界。老实说，说到代表作，* Genie / Genie

$!$，

Google DeepMind，基于图像和动作生成可玩世界。

• NVIDIA Cosmos ：定位为机器人基础模型的“ 世界模型网站”

技术栈

主流视频/世界模型走 DiT + D VAE + Rectified Flow 说到路线，. D VAE ：把 H×W×T 的原始视频压到 h×w×t 的 latent。.Patch 化 + 位置编码 latent 切 patch，加 D RoPE 或 NaViT式变长编码。

对上层的冲击

• 免费 tier常态化 ChatGPT Free、 Gemini Free、 豆包、 文心免费版会把基础能力彻底白菜化。商业模型从 "按 token卖" 转向 "按 Agent/结果卖"

十五、

写到这里 篇收尾。

四年前我们还在讨论“ GPT- API 怎么接” 四年后我们在讨论“ 千卡集群 MFU 怎么从 % 推到 %""推 单位 token成本怎么从 分钱砍到 厘" 再往后四年。我们大概率会在讨论一些今天还没有名字的东西——也许是“ 世界模型的 PagedAttention” 也许是“ Agent OS 的 cgroup v" 也许是“ 国产 Rubin 的 FP MFU"

这个系列从第 篇开始，一直在重复一个动作：

把一个看起来很大的话题，拆到能动手的粒度 GPU 不神秘，它就是 SM + HBM + NVLink 三样东西的组合；训练不神秘，它就是前向 + 反向 + 通信 + checkpoint 的循环；理不神秘，它就是 prefill + decode + KV 管理 + 调度的流水线；Agent 不神秘，它就是 LLM + 工具 + 状态 + 控制流的状态机。话说回来，所有“新概念”，都是这些基本件的新组合。

三个不会变的判断

四年变化如此剧烈，还有什么是可以确定的？至于我赌三件事，. 算力永远不够用 只要模型能变强。钱就会被投入进去，直到物理极限。怎么说呢，“ 怎么把算力用好” 永远是工程显学。

参考资料

• OpenAI,"Learning to reason with LLMs"

. * DeepSeek-AI,"DeepSeek-V Technical Report",

. * Kwon et al.,"Efficient Memory Management for Large Language Model Serving with PagedAttention"。SOSP

. * Zheng et al.,"SGLang: Efficient Execution of Structured Language Model Programs",

. * Dao,"FlashAttention- / FlashAttention-",/ . * Gu & Dao,"Mamba / Mamba-",/ .

上一篇 ：成本、合规与安全下一篇 返回系列首页

。

---