一、 ：揭开 LLM 调用的本质

当我们在终端敲下 await client.chat.completions.create 这行代码时背后究竟发生了什么？

你可能会遇到：

• 调用耗时过长？API 费用暴涨，
• 服务器压力飙升却难以扩容？
• 对话中途断线后历史丢失？

答案比大多数人想象的要简单——这但是是一次 HTTP 请求。你的代码将一段 JSON 数据的 token 序列化为 JSON 返回。整个过程在几百毫秒内完成，连接关闭。状态清零，接下来服务器转身去处理下一个请求。

理解这一点，是理解现代 AI 工程化所有上层建筑的地基。

二、有状态 vs 无状态：一场架构的必然选择

痛点直击：

• "为什么我的聊天机器人总是忘记之前说的话？"
• "高并发下内存爆满怎么办？"
• "如何让程序真正弹性伸缩？"

方法：无状态架构带来三大优势——水平 自由、容错性极强、公平性！而有状态架构则面临内存压力巨大、无法水平 和单点故障风险！

三、LLM 的无状态实践：每次都带上全部对话

主要挑战：大模型本身没有记忆！如何确保连贯对话体验，

const chatHistory =;// 第一次请求
chatHistory.push;const response = await client.chat.completions.create({
再看model。'deepseek-v4-flash',messages: chatHistory // 带上当前历史
});chatHistory.push;// 第二次请求
chatHistory.push;
const response2 = await client.chat.completions.create({
说到model。'deepseek-v4-flash',messages: chatHistory // 带上完整历史
});

关键技巧：客户端维护并全量提交历史记录！但这样会导致token开销飙升...!不过，

四、chatHistory 的代价：从便利到瓶颈

警告⚠️: 对话轮次增长导致token开销呈超线性增长！

第N轮对话历史可能是第1轮的N倍！代表着更多注意力计算/GPU显存占用/响应速度/费用账单... 这代表着您可能正在支付10倍不必要的API费用！ 或者您程序响应速度已经降低了80%!

• ❓问题1这方面，"为什么ChatGPT能流畅聊几十轮而我的程序变慢?" ➡️答案在于LRU淘汰策略+容量限制组合!
• 至于❓问题2，"哪些历史可以安全删除?" ➡️区分"不再需要闲聊"与"主要需求"成为挑战!按理说，
• ❓问题3的观点是。"如何控制费用同时保证准确性?" ➡️需要智能化管理chatHistory内容!
"

1. :字斟句酌设计system prompt试图让模型理解所有需求。但结果不可精确控制.
   1. 优点 :简单直接,适合快速原型验证

2. :重心转向管好上下文!
1. RAG检索外部知识库动态注入上下文
2. 从MCP来看。按需调用外部工具获取实时信息
3. Skills可组合封装领域能力 *主要思想*:与其寄望于模型知道,不如确保它看到!