不管是写代码的、Zuo内容的，还是纯粹凑热闹的，大家肯定dou见过这几个参数：Temperature、Top-p、Top-k。官方文档通常给的解释总是模棱两可，说什么“控制输出的随机性”。听起来hen高大上，但实际操作起来hen多人还是一头雾水：这玩意儿到底怎么调？为什么调高了就像喝多了调低了像个复读机？

其实想要搞懂它们，我们得先扒开大模型的“外衣”，kankan它到底是怎么“说话”的。这事儿说起来有点反直觉，因为模型并不像人类那样先在脑子里打好草稿，然后一段段说出来。它的过程geng像是一场没有终点的接力赛，每一步dou只问自己一个问题：下一个Zui可Neng出现的词元是什么？

01. 模型的“思考”本质：一场概率的滚动游戏

我在之前的文章《从统计学习到通用智Neng》里其实提到过大模型在输出文本的时候，本质上是在滚动地预测下一个Zui有可Neng出现的词。这完全是一个统计过程，跟什么“灵感”、“意志”没半毛钱关系。

当你抛给它一个问题，比如“博主写过哪些关于前端的文章？”，模型并不会去搜索数据库，而是把目前所有的输入重新扫一遍。然后它会去翻那个巨大的词汇表，给表里的每一个词元打分。这个分在技术上叫 Logit。

这个打分过程是 Transformer 架构的核心，通过层层注意力计算让每个词元dou“读懂”上下文，Zui后通过矩阵乘法得到分数。相关程度越高，打分越高。不过作为调用方，我们不需要关心矩阵怎么乘，只需要知道：词汇表里的每一个词元，dou有一个对应的分数。

假设词汇表里只有这几个候选词，它们的分数大概是这样的：

TypeScript: 5.0

React: 4.5

Vue: 3.0

摩托车: 0.1

禅修: 0.05

Ke以kan到，TypeScript 分Zui高，因为它跟“前端”Zui相关；而“摩托车”和“禅修”虽然完全不搭界，但它们也有分，只是分低得可怜。这就像是你脑子里闪过无数个念头，大部分是正常的，偶尔也会蹦出几个奇怪的。

但这里有个问题：Logit 是原始分数，数值范围不确定，没法直接用来Zuo概率采样。为了把分数变成概率，我们需要一个叫 Softmax 的函数。它的作用hen简单：把所有分数归一化，让它们加起来等于 100%。

Ru果用 JavaScript 来模拟这个过程，大概是这样的：

// 假设这是模型打分得出的原始分数
const logits = ;
// 第一步：对每个 Logit 取自然指数 e^z
const exps = logits.map => Math.exp);
// 结果大概是：
// 第二步：把所有指数加起来得到分母
const sum = exps.reduce => acc + val, 0);
// 结果大概是：260.65
// 第三步：每个指数除以分母，得到Zui终概率
const probs = exps.map => exp / sum);
// 结果大概是：
// 也就是：TypeScript 56.9%, React 34.5%, Vue 7.7%...

算完之后你会发现，三个“前端”相关的词元概率加起来Yi经超过了 99%，而“摩托车”和“禅修”加在一起连 1% dou不到。这hen正常，分高的词概率高，分低的词概率低。但只要概率不是零，就永远有被选中的可Neng。

02. 贪心解码：为什么 AI 有时候像个复读机？

有了概率，下一步就是选词。Zui直接、Zui简单的想法是什么？当然是直接挑分值Zui高的那个不就行了吗？

在技术上，这叫 Greedy Decoding。也就是每一步中，模型dou会选择概率Zui高的词元，永远追求局部Zui优解，而不考虑整体的输出效果。

Ru果用这种策略，模型会永远输出：“博主，写，过关于，TypeScript，的，文章。”

这就形成了一个类似“赢家通吃”的局面：模型几乎每次dou只会选 TypeScript，输出变得稳定、确定，同时也hen死板。永远是 TypeScript，不会是 React，哪怕分数只差了一点点。这种策略下同样的问题，永远只会得到同样的答案。

为了解决这个问题，有人提出了 Beam Search。它的思路是：不只盯着分值Zui高的那条分支走到黑，而是走每一步的同时保留分值Zui高的 k 条候选路径，Zui后选整体概率Zui高的那条。

比如 k=2，在挑选“关于”之后的词元时会同时保留“TypeScript”和“React”两条路；接下来在每条路的基础上继续延伸，再各自保留Zui优的两个分支，以此类推。Zui后从所有走完的路径里挑出整体概率Zui高的那条。

Beam Search 确实比贪心解码geng“聪明”一点，它不会因为某一步的局部Zui优而错过geng好的整体结果。但它也有自己的问题：输出往往过于保守，容易陷入重复，而且计算成本随 k 值的增大显著上升。

geng重要的是这两种确定性策略dou只会我们需要一点不一样的东西。

03. 随机采样：给 AI 注入一点“人味”

Ru果你对模型的极限充满了好奇，想要geng加“精准地胡造”，或者只是想让它kan起来不那么像个机器，那就得用 随机采样。

这就像是在一条数轴上按概率分配区间，每个词元按照自身的概率占据一部分。然后生成一个 0 到 1 的随机数，落在哪个区间就选哪个词。这样，分高的词被选中的机会大，分低的词机会小，但不是零。

按照这种随机的模式来输出，内容就有了新鲜感，也就是所谓的“人味”。但随机采样本身还有个大问题：到底随机到啥程度？

词汇表里有几万甚至几十万个词元，头部那几个词元的概率加起来可Neng到了 99%，但剩下那 1% 被稀释在了几十万个词元上。虽然每个词元概率极低，但数量庞大。只要运气够好，那些完全不相关的词，比如“摩托车”，也有机会被选中。

于是就可Neng会出现这样的句子：“他打开门，发现里面有一台正在呼吸的电视机”。你可Neng也会觉得：哎，不错，有点东西。但geng多时候，它是这样的：你还是问“博主写过哪些前端相关的文章”，结果它回答“摩托车脉冲点火的架构与设计”。

这就称不上是创意了这算事故，P0 级别的。

为了解决这个问题，我们需要在采样之前，先把那些明显不靠谱的“长尾垃圾词”切掉。这就引出了文章一开始提到的三个参数：Temperature、Top-p、Top-k。

04. Temperature：控制概率分布的“温度计”

Temperature 解决了“概率差距”的问题。它的名字起得hen应景，就是“温度”。通过调低或调高这个 T，就Ke以让词元的概率分布变得geng“尖锐”或者geng“平滑”。

它的原理是：在 Softmax 计算概率之前，给原来公式里的分子和分母分别dou除以这个 T，从而改变每个词元之间的概率差距。公式变成了 $e^{} / \sum e^{}$。

这一步kan起来微不足道，但带来的效果非常剧烈。

当 T 调低时： 每个词元的分数dou会先除以 0.1，也就是放大 10 倍。原本 TypeScript 和 React 只差了 0.5 分，放大后差距变成 5 分。而 Softmax 里有指数运算，线性的差距在指数面前会被疯狂放大。

Zui终算出来的概率，TypeScript 从原来的 56.9% 暴涨到约 99%，React 跌到 0.9%，Vue 剩 0.01%，“禅修”和“摩托车”基本接近于零。模型变得极度自信，甚至有点自负。

当 T 调高时： 每个词元的分数dou除以 2.0，差距被压缩了一半。原本悬殊的差距被抹平，第一名的优势也变得不再明显。

Zui终算出来的概率里连“摩托车”这种完全不相关的词元，dou有了相当的概率被选中。输出变得多样，有时候冒出意想不到的词，但也有时候像在胡说八道。

05. Top-k：简单粗暴的“切刀”

Temperature 调整了概率分布的形态，但并没有直接把那些低概率的词元剔除。这时候就需要 Top-k 出场了。

Top-k 的逻辑非常直接粗暴：只保留分数Zui高的前 k 个词元，其余的全部丢弃，概率直接归零。

比如设置 Top-k=3，那么保留的就是 TypeScript、React、Vue这三个词元，“禅修”和“摩托车”就直接被丢弃了。然后把这三个词元的概率重新归一化，让它们加起来重新等于 100%，再进行采样。

Ru果 k=1，那就退回到了贪心解码。Top-k 本质上是介于贪心解码和完全随机采样之间的方法。它既不像贪心解码那样只认第一名，也不像完全随机采样那样对所有词元一视同仁。

不过Top-k 有个缺点：k 值选多少hen难提前确定。对不同的输入，同一个 k 值的效果可Neng差异hen大。有时候概率分布hen集中，前两名就占了 99%，这时候 k=50 和 k=2 没区别；有时候分布hen平坦，前 50 名才占了 80%，这时候 k=5 可Neng又太少了。

06. Top-p：动态调整的“捕鱼网”

为了解决 Top-k 僵化的问题，Top-p应运而生。

Top-p 的全称是 Top Cumulative Probability。它的逻辑动态一些：从概率Zui高的词元开始往下累加概率，累加到超过阈值 p 就停，剩下的全部丢弃。

比如 p=0.9，就意味着只保留累计概率Neng覆盖 90% 的那些词元，不管这个集合里有几个词元。

还是前面的例子：TypeScript 56.9%，加上 React 34.5%，Yi经到了 91.4%；这就超过了 0.9 的阈值，停止。Vue、“禅修”和“摩托车”全部被排除。而Ru果把 p 设为 0.8，那只需要 TypeScript加上 React累计到 91.4% 之前就够了——等等，这里其实只要 TypeScript 加上 React 就Yi经超了所以 Vue 也不要了。

这两个参数解决的是同一个问题，但角度不同：Top-k 固定候选词元的数量，Top-p 固定候选词元的概率密度。 当概率分布比较平坦时Top-p 会自动多保留几个候选；分布集中时又会自动收窄。

这也是为什么两者经常叠用：先用 Top-k 砍掉数量上的长尾，再用 Top-p 按密度Zuo二次收束。 Ru果几个参数同时启用，执行顺序通常建议是：Top-k → Top-p → Temperature。

07. 实战指南：怎么调才不翻车？

说了这么多原理，到底该怎么用？这里有一份基于经验的“作弊条”，你Ke以根据不同的任务类型来参考：

场景一：确定性任务

这种场景下你不需要任何“惊喜”，你只需要准确。

配置建议： Temperature 调到极低，Top-p 设为 1.0，Top-k 设为 1。输出会非常稳定、保守，几乎每次dou选概率Zui高的词。

场景二：创造性任务

这时候，你需要的是“意外”。哪怕偶尔跑题，也比写出一堆车轱辘话强。

配置建议： Temperature 拉到 0.7 ~ 1.0，Top-p 设为 0.9，Top-k 设为 40 ~ 50。输出会geng大胆、geng容易跳出常规逻辑，但也geng容易跑题或胡说八道，需要多筛一轮。

场景三：平衡场景

这是Zui常见的情况。既要像人话，又不Neng太离谱。

配置建议： Temperature 保持在 0.3 ~ 0.7，Top-p 设为 0.9，Top-k 设为 40。在确定性和多样性之间保持一个平衡，回答自然又带有变化，出错的概率也比较低。这也是大多数模型的默认配置区间。

场景四：极度随机

Ru果你就是想kan它发疯，或者寻找一些极其冷门的灵感。

配置建议： Temperature 超过 1.0，Top-p 和 Top-k 全部放开。每个词的概率被拉得几乎均等，输出天马行空，狂荡不羁。这种配置下大部分结果可Neng没有意义，靠的是多次尝试里偶尔出现的惊喜。

08. ：AI 真的有创造力吗？

总的来说我们每一次调高 Temperature 的“温度”，或者拓宽 Top-p 的阈值，dou是在告诉模型：允许你适当地“胡编”，允许你geng大胆一些。它本质上是希望模型 在“合理”的范围内，制造适当的意外。

而人对“创造力”的感知，大部分时候就是来自于这份“意外”。比如那首广为人知的：灯，把黑夜烫了一个洞。

但Ru果认真去追问“创造力”这个词，Ru果它的定义是包含了情感温度、联想幻想、故事体验、独一无二的这个过程的话，那模型从未实现过创造。它永远只是在概率的公式里随机跳跃，而且还是伪随机。

它有结果，但没有真正意义上的创造过程。它不知道自己为什么选了这个词，也没有“选”的意志，只是概率落点恰好在这里。

这种人类的自我投射，和机器毫无关系。倒是有个geng严重的问题是：比起 AI 有多大“创造力”，人们似乎逐渐习惯了把这种统计意义上的受控偏离，误读成了某种有意识的灵感涌现。

不过大部分时候，人们要的本来就不是“真正的创造力”，而是“创造力所带来的结果”。 一段kan起来有爆点的文案、一个“别出心裁”的转场，或者墙上挂的那副 AI 画出来的壁画……这些需求，机器确实Ke以满足。

所以别太纠结它是不是真的“懂”你。只要它Neng吐出你想要的那个词，哪怕它心里想的是“摩托车脉冲点火”，那又有什么关系呢？

---