Top‑K 采样：限定候选池大小

CNN 的思路是：只保留概率最高的 K 个 token。其余丢弃，再归一化后进行采样。优点是过滤低概率噪音，缺点是固定 K 无法自适应。

• K 越小 → 输出更保守、确定；老实说，越大 → 多元但易引入噪声。不过，
• K 固定导致当模型高度确定时仍保留一些无意义词；当模型不确定时可能剪掉合理候选。不过，

至于Top‑P。自适应筛选

The idea is to sort tokens by probability and keep smallest set whose cumulative probability exceeds P.

• A fixed threshold P adapts automatically – when distribution is sharp,few tokens survive;when flat,more tokens remain.
• P close to 1 essentially turns off filtering .
• P values around 0.9–0.95 are common defaults for balanced creativity.

推荐设置

*关键提示*

'temperature' 与 'top_p' 不建议同时调优 —— 两者都在控制随机性，互相干扰导致不可预测行为。至于常见做法，

• Simplest：只调 Temperature；其他默认值，话说回来，
• You can also choose only Top‑P if you want a consistent nucleus filter.
• If you wish finer control use both but set one very low – keep randomness high but limit candidate pool.

---

说到项目结构示例。

bash t-demo/ ├── main.mjs # 主程序 ├── .env # 环境变量 ├── package.json └── node_modules/

再看主要代码片段，import 'dotenv/config';import { ChatOpenAI } from '@langchain/openai';话说回来，import { StringOutputParser } from '@langchain/core/output_parsers';import { PromptTemplate } from '@langchain/core/prompts';

const creativeModel = new ChatOpenAI({ model : process.env.MIMO_MODEL。temperature : /* high /,topP : / low /,// e.g.,0.8 maxTokens : / appropriate */,});

const preciseModel = new ChatOpenAI({ model : process.env.MIMO_MODEL。temperature : /* low /,topP : / higher */,// e.g.,1 });

const storyPrompt = PromptTemplate.fromTemplate;const outputParse = new StringOutputParser;

const creativeChain = storyPrompt.pipe.pipe; const preciseChain = storyPrompt.pipe.pipe;

async function runWriteDemo { const me ="秋日山野晚风";console.log ---');const creativeText = await creativeChain.invoke;console.log，

console.log ---');const preciseText = await preciseChain.invoke;console.log，

} runWriteDemo.catch);

提示 - OpenAI 官方 API 支持 temperature 与 top_p；top_k 通常需第三方实现。- maxTokens 为复数形式，请注意。

运行结果对比示例：

创意模式 text 秋日的山野。晚风裹挟着桂花甜香，从山谷深处缓缓涌来…，怎么说呢，

严谨模式 text 秋日的山野间。晚风轻拂金黄稻田，…说起来，

对比维度包括修辞手法、叙事节奏、用词密度等。你可以自行调参观察差异，

• #Min-P Sampling – 根据最高概率自适应阈值过滤极低概率 token。
• #Repetition Penalty – 对已出现 token 降低其概率，以避免重复句子。
• #Beam Search – 保留多个候选序列并挑选整体概率最高者；话说回来，常用于翻译等全局最优需求。

• *新手*的观点是。先只调 Temperature，在安全范围内尝试不同值即可快速体验差异。
• 从*进阶*来看。Temperature + Top-P 配合，可覆盖绝大多数业务场景，从严谨到自由均可把握。
• *生产环境*这方面。根据业务指标反复测试，例如 A/B 对比生成质量与成本，再锁定最佳组合。
• *关键提醒*这方面。切勿同时频繁调整 Temperature 与 Top-P，否则会产生不可预期交互效果。
• 至于*排错技巧*。若输出过于无聊，可先降低 Temperature 再逐步提高 Top-P；若出现奇怪重复，则考虑开启 Repetition Penalty 或使用 Beam Search 帮助消除循环误区。

• - OpenAI API 官方文档 – 说明。- Hugging Face “How to generate text” – 解码策略全技巧。- “The Curious Case of Neural Text Degeneration” – Top‑P 原论文。- LangChain 官方文档 – 示例代码与框架说明。
  
  
  

❛ **互动话题** ：你在实际项目中使用过哪些采样策略？踩过哪些坑，欢迎在评论区交流分享！❜

'