Agent 的钱花在哪里？

作为公司级应用开发者，你可能正被 Agent 的高成本困扰：

• Token 费用失控程序提示越写越长，检索内容越来越多，每次调用都让账单增加几美分
• 响应速度慢使用者反馈说"等了半分钟还没回复"，但监控显示模型推理已经完成了 %
• 调整无从下手网上教程要么太泛。要么太具体

输入 Token 构成： 程序提示 固定，每次调用都付 工具定义 固定，注册多少工具就付多少 对话历史 随轮次线性增长 检索内容 动态 输出 Token： 模型思考过程 ReAct 的 Thought 部分 工具调用参数 每次工具调用 最终回复 使用者看到的答案 说到延迟构成，LLM 推理时间 占绝大部分 工具执行时间 通常 < %，但串行叠加可观 API 延迟波动 ±% 的不可控因素影响实际体验

主要问题：如何同时减少成本和提高速度？

Demo #1: Token 成本拆解——程序提示瘦身对比实验

痛点场景：

• "我们的程序提示已经有 K tokens，但业务部门要求再添加产品细则"
• "每天几万次调用后发现账单增长超预期"

两版程序提示对比测试：

MINIMAL_PROMPT = "You are a helpful assistant."
VERBOSE_PROMPT = """
You are an extremely helpful,knowledgeable,and professional AI assistant...
Always be thorough,comprehensive。and leave no important detail unexplained.
"""
**实测数据**：



比较项
Minimal
Verbose
增量




每日1万次调用
$0.065
$0.89
+$0.825


每日10万次调用
$0.65
$8.9
+$8.25



**关键结论**：看似小的增量在规模化后会形成巨大差异！

为什么不直接删掉？因为...


"担心删除后模型会忘记关键指令"

"产品经理要求保留所有细节"

"不知道哪些是冗余信息"


经验建议：从三个维度调整程序提示 - 


必要性: 是否直接影响生成质量？试着删除接下来对比输出，说起来，

简洁度: 能否用更少字数表达同一含义？说起来，例如 "详细回答" → "完整回答"

结构性: 是否使用分段、列表等易读格式？
模型更容易理解有组织的文本。



Demo #2: 模型路由——跳过不必要的 Agent 开销对比实验

典型痛点：所有查询都走完整Agent流程 - 


"简单问答也要走检索+工具调用流程"

"即使知道答案只需要LLM推理也要等待Agent循环"

python
ROUTING_SYSTEM = """
Classify user query into one of se categories:
- General knowledge questions that don't need tools
- Requires tool calls for real-time/factual answers
"""
def routed_run:
if is_direct_question: # 新增路由逻辑
return llm.invoke]) # 跳过Agent流程
return agent.run # 原有Agent流程


关键指标直接查询占比> % 时收益显著



查询类型
Agent原始耗时
路由调整后




What's Python?
~5000
~100


Wear in Tokyo
~600
~650




Avoiding Common Mistakes - 


Don't use binary classification if your business has more nuanced routing needs.Measure actual cost of adding routing vs savings from skipping agent.Ensure classification model matches your real use cases.




markdown
* 使用者投诉："为什么我同时问天气和汇率要等那么久"
* 日志显示两个API请求串行执行了秒而非并发完成秒"

python async def paralleltools:
weartask = asyncio.createtask)
ratetask = asyncio.create_task)
results = await asyncio.gar(
wear_task。rate_task,get_stock_price // 加入第三个独立任务
)
return results


// 测试结果
Scenario Sequential Time Parallel Time
Wear + Rate ms ms
Wear + Rate + Stock ms ms


注意事项:


依赖关系: 不能并行处理存在先后依赖关系的任务。

错误处理: 需设计单个失败不影响其他并发任务。

资源限制: 大规模并发可能触发API限制。


LangGraph特性深度剖析 - 

// 引擎层面自动处理情况:
mermaid graph LR A --> E E --> F F --> G
G -.-> H
G -.-> I
G -.-> J



⚠️警告:/span/span
当使用asyncio时必须配置正确线程池以避免阻塞IO操作!/span span/span/span blockquote="" h2="" h3="" h3data-id="heading--">Demo#4工具结果缓存—命中率与新鲜度平衡测试/em/p/pem//关键问题:/em/em/p/pem//频繁重复查询相同数据:/em/p/pem//方法架构:/pre/codeclasslanguagelanguagesqlcitystatusTimeNoteBeijingMISS.sfirstcallShanghaiMISS.sfirstcallBeijingHIT✓ssecondcall—cachehitShenzhenMISS.sfirstcallShanghaiHIT✓sthirdcall—cachehitBeijingHIT✓sfourthcall—cachehit命中率::Miss延迟:~sHit延迟::lt;按理说，s/codepre/

>>⚠️警告: