一、大模型的“先天约束”——为什么需要工程化

大语言模型有四个结构性约束，它们不会因为模型变大、训练数据变多而消失。所有后续的工程努力，都是在这四面墙壁围成的房间里做文章。怎么说呢，

是稀缺资源

我们的程序运行在 128K token 的内。看起来很大，但算一下就知道它有多脆弱：

• 一个 ReAct Agent 每执行一个步骤。至少产生 10 条消息，其实，
• 一次工具调用返回数万字符时消息队列会在几轮之内膨胀到 200K+ 字符——远超 128K 的物理上限。

这代表着需要的是完整的信息生命周期管理——从产生、压缩、索引到按需恢复。每个环节都需要工程化方法，而不是单纯截断。话说回来，

注意力稀释效应——“LLM 越跑越蠢”

同一个 Skill 在不同步骤执行质量明显下降。原因不是模型能力，而是信息质量逐步劣化。的“物理容量”与“有效容量”是两回事；当大量噪音数据占用窗口时有效容量甚至不如精心管理的小窗口。

• User Pain Point: 因为步骤增多，对话容易失焦、误解使用者意图；成本急剧上升，

数据搬运谬误

多步骤流程中，步骤 A 的输出必须作为步骤 B 的输入。若 LLM 在搬运时截断或混淆字段。后续工具调用将失败并导致更多重试，引发注意力稀释加剧。

• User Pain Point: 手动搬运耗费 token、易出错；自动模式反而让 LLM 执行相同错误任务。

无状态的先天缺陷

LMM 的每次对话都是无状态的，这导致：

• User Pain Point: 网络中断或进程重启导致全部中间状态蒸发；无法从历史执行中学习经验。怎么说呢，
• LMM 无法持续记忆关键发现。导致重复错误和高昂成本，其实，

二、Prompt 工程阶段——一切从一段文本开始

从角色扮演到结构化注入

PROMPT 最早是把所有信息塞进 System Prompt：角色描述、业务规则、格式要求等。因为复杂度增加，该文本从几百字膨胀到数千字，占用了宝贵上下文空间。这为后来的渐进式披露和按需检索埋下伏笔。老实说，

PROMPT Hack 的标语困境

PROMPT 中注入格式规则依赖模型“注意到并遵守”。说起来，但因为对话长度增长，这些标记被淹没，遵守率骤降。

PROMPT 引导局限性：

• User Pain Point: 指令遵从率随步骤增加显著下降；成本与质量双重受损，

AWS “防御 vs 帮助”思路简述：

AWS S1 三个结构性缺陷：

• No fault tolerance. Pure memory loop → 全部崩溃.
• Easily overflow context. Tool calls cause rapid window exhaustion.
• No post-hoc reflection. No mechanism to re-evaluate earlier steps.

三、Context 工程阶段——管好上下文就管好了一半

至于主要判断。上下文管理是 Agent 工程化第一命题

L1 — 工具结果压缩

L1 是最前端拦截机制。用来处理单次工具调用返回的大量 JSON。当字符数超限或数组元素过多时将完整结果存储于 MySQL，并在消息中仅插入引用对象。例如：

{ "__stored": true,"__refId": "a1b2c3d4-…","__toolType": "unified_protocol_service"。"__originalLength": 52341,"__summary": "records,all active…","__hint": "Call get_stored_data for full data" }

• User Pain Point: 避免长字符串直接进入 LLM 上下文导致溢出和误解。
• L1 对大型数组也强制外置存储，从根本上消除 LLM “调整”带来的数据丢失风险。
• L1 提供 preview 字段仅用于审计。不进入 prompt，从而保持确定性一致性。.

  L2 — 语义压缩

  L2 用另一台小型 LLM 对超过2000字符的数据进行语义蒸馏，只保留最关键信息。怎么说呢，例如将50KB JSON蒸馏为≈2000字符摘要。并保留 TTL 小时时间以备后续检索。如果 LLM 压缩失败，则退回结构化截断。并标记"__fallbackTruncated:true".

  • User Pain Point: 避免因大文本导致注意力稀释且不影响后续推理质量。
  • L2 使用温度较低以稳定输出，同时避免重复 token 导致的问题。.

  L3 — 对话压缩

  L3 管理整段对话累积膨胀。当 prompt_tokens / contextWindow 超过80% 时触发，将累积内容压成结构化交接文件。并保证至少保留6条关键消息与所有 artifact_ref 索引，以免丢失关键引用信息。通过硬限制确保不破坏 tool/assistant 消息配对关系。

  • User Pain Point: 长链路难以维持原始目标与逻辑一致；无法快速定位卡点，.

  L4 — DataBus

  L4 在程序 prompt 中维护全局索引表。提供按需取回支持，同时实现类似 CPU 缓存预取策略，以减少运行时检索延迟。