零、前言

进入 年。大街小巷都在聊着与 AI 有关的话题，AI 在不断地颠覆着我们的日常生活和各行各业的工作习惯。相信很多同学都已经开始用着 AI 相关的产品，例如豆包、元宝、ChatGPT、Gemini、Claude Code 等。会在这些 AI 产品的聊天框内输入一段文字接下来发送，等待一定的时间后会看到 AI 给出对应的回复内容。

或许你有着和我一样的疑惑：

• 从按下回车，聊天内容被发出去之后到底发生些什么呢？其实，
• AI 是怎么记住我们的聊天内容呢？有时为什么又好像忘了，
• 为什么有时回答会突然中断？
• 为什么每一次交互都需要付费，且费用不易估算？
• 当对话越来越长时为什么速度变慢甚至卡顿？怎么说呢，

问题。便分享了这篇文章，最终会结合代码，亲自感受一次聊天背后的流程。

一、发出的内容不只是聊天内容

Prompt 的完整构成与使用者痛点

当我们在聊天框里输入 “帮我写一个排序算法”。接下来敲击回车键，这句话就被打包发送给大模型了但打包出去的并不只是输入的这句话。

客户端会在背后悄悄地做一件事：把刚才这句话、之前的聊天记录、还有一段 “程序指令”。全部拼成一个完整的内容块，一起发给大模型。这个被打包好、最终送进大模型的完整内容，就叫 提示词。

我们输入的那句话只是 Prompt 的一小部分，Prompt 才是大模型真正 “看到” 的全部内容。

Prompt 长什么样？

{ "messages": }

完整的 Prompt 包含三部分：

1. 程序提示词：**限制 AI 的行为。告诉它当前扮演的角色，在接下来的对话中应该如何表现；
2. 对话历史：**之前所有的问题和答案；老实说，
3. 当前消息：**刚输入的新句子。例如这里的 “帮我写一个排序算法”。

至于三种角色。System、User、Assistant

痛点二：虽然 System Prompt 对结果影响巨大，但它往往不可见，也无法直接修改。

• System 消息是给 AI 设定全局指令。不属于日常对话，但始终决定回答方式。老实说，
• User 消息就是我们在聊天框发送的内容。
• Assistant 消息是 AI 的回复。也是历史的一部分，为下一轮提供上下文。

System Prompt 的威力与成本关注点

• 痛点三： 不同产品使用一样底层模型，却给出截然不同答案——这源于 System Prompt 的差异。想要一致体验，需要了解并能调整 System Prompt。 而大多数网站隐藏了这一层。
• 痛点四： System Prompt 会在每一次交互中重复发送，而且其长度直接计费。更长、更细致的 System Prompt 会导致更多 Token 产生，从而增加 API 成本。

二、大模型处理文本——Token 与 Tokenizer 的幕后工作原理

还有它的关键性?

痛点五： 你可能想知道“字数”和“Token 数”到底有什么区别，还有它们如何影响收费和上下文容量。了解这一点能帮助你更好地控制成本和避免“失忆”。老实说，

• A Token 可以是完整单词。也可以是字符片段，中文汉字也可能拆分为更细粒度；同一句中文可能比英文消耗更多 Token。

Tokenizer 如何工作?

// 示例
// 第一步先：切分
let tokens = tokenizer.tokenize;其实，// tokens =
// 接下来：映射
let ids = tokenizer.encode;// ids =
model.process;const outputIds = model.generate;const outputTokens = tokenizer.decode;// 转回文字

Token 与费用关系 & 使用者关注度提高策略

模型/价格 2026年价格范围	输入价	输出价
GPT‑4o‑122k $0.10/MB input $0.15/MB output	$10 /million tokens	$15 /million tokens
Claude Sonnet 1M $0.08/MB input $0.12/MB output	$8 /million tokens	$12 /million tokens
Gemini Pro 1M $0.06/MB input $0.09/MB output	$6 /million tokens	$9 /million tokens

使用者操作建议—减少 Token 消耗技巧：

• 简化 System Prompt: 尽量将多余描述删掉，只保留主要指令；如“请用简洁中文回答”，*
• 精确提问: 不要冗余语句，如“嗨嗨嗨~ 请告诉我…”，直接去问主要问题，
• 合理设置 Max Tokens: 根据需求提前限制输出长度，可避免无谓额外 Token 花费。

三、“短期记忆”的局限性——Context Window 与对话管理策略

Context Window 限制及其对使用者体验的不利影响

• The Context Window 是大模型一次能 “看到” 的总 Token 上限，它包含 System Prompt + 对话历史 + 当前消息 + 模型回复。如果超过上限，则最早的信息会被截断丢弃，这就是简单讲 “失忆”。
• User 在长时间讨论后发现之前说过的关键信息消失了——因为已经超出了窗口容量。这导致需要重新阐述背景，提高沟通成本。

管理策略 & 实践建议：

将大型知识库拆分为可检索块，仅检索相关片段再注入上下文；避免把整篇文档塞进窗口，

策略类型
截断早期历史	摘要压缩
简单移除最早若干轮，对话保持最新状态；适合快速迭代场景但容易丢失关键细节。	使用 AI 自动生成摘要，用少量 Token 替代原始长段落；保持关键信息，同时释放空间。
检索提高生成 & 外部知识库

>'对话轮数'	>'本轮发送总 Token'	>'累计消耗总 Token'

'第①轮''500+300'=800''800'

'第②轮''500+300'+800'=1600''1600'

& TD '第③轮 '

...

说明：假设每条消息平均700 token，总计约30k token/月→约 $30–$50。不过，长期大量交互会形成显著成本负担！怎么说呢，..

*注意：上表仅作演示。实际 token 数需结合具体 prompt 和语言而定。

---

---

---

---