Tag
一、使用者痛点：页面完全卡死 当模型侧快速推送流式数据时页面完全卡死无法操作。通过 Performance Monitor 工具分析结果如下： CPU 占用持续 九十成左右+ s 界面完全无法操作。话说回来， 频繁 GC 内存曲线锯齿状波动。 DOM 节点数阶梯式波动 与 GC 频率一致。 思考过程和回答正文生成阶段尤为明显。 二、失效方案速览：传统 React 性能调整无效 在找到正确解法前
查看更多 2026-09-07
已完成第1–15天app/graph_agent.py 中的基础图可以完成： decide → tool → decide → finalize 这一阶段不再追求增加更多工具，而是让现有 Agent 能够： 保存每一步状态；说起来， 进程重启后恢复； 高风险操作先人工审批； 防止重复执行副作用；话说回来， 向客户端流式展示节点进度； 正确处理临时故障； 连接标准MCP工具； 追踪并保护线上请求
查看更多 2026-08-14
前言 在建立 AI 聊天应用时最主要的交互体验就是“打字机效果”——文字一字一字实时弹出，让使用者感受到即时反馈。从中你可能遇到来看， 使用axios 请求时页面几乎无响应。等了很久才看到完整内容， 用fetch 一样是一次性获取全部响应，无法实现逐步渲染。 想要真正实现流式输出，却不知道哪种工具最合适。 这篇文章从流式输出 角度，程序对比四种主流方式：普通fetch fetch 流式
查看更多 2026-08-13
BFF 层流式输出：从前端直连到生产级流式网关的架构演进 v039 拆解了 LLM 流式输出的完整技术链路——从 HTTP chunked transfer encoding 到 SSE 协议，从 ReadableStream 的 buffer 管理到 AbortController 的取消机制。但那篇文章的视角是客户端 前端如何消费一个流。 读完 v039，你能回答面试官关于“SSE 和
查看更多 2026-08-07
控制 Agent 痛点： 在多轮 Tool 调用时Agent 可能出现无限循环，导致算力成本失控。 通过 Hooks 可以在每一次模型调用后进行拦截、计数或提前终止，从而防止无限循环。 @Test public void test19 throws GraphRunnerException { ChatModel chatModel = CreateChatClient
查看更多 2026-08-06
从零实现一个 ReAct Agent Loop——可中断、可流式、多模型支持 前言 现在 ReAct loop 的主要实现已经不再是秘密，网上可以看到各种模板。 但要把它变成能反复使用的 SDK 还有可在生产环境中跑，光这个循环远远不够。还需要考虑很多问题，比如： 使用者痛点一： 使用者中途点取消。怎么干净的停下来 - 不让 tool_use 变成没有 tool_result 的孤儿
查看更多 2026-08-06
其实， 🌊 流式输出 如何让AI像真人一样"打字" 🔗 Vue3响应式 程序如何自动更新界面 🔐 API密钥 如何在Vite项目中安全存储 🧩 组件化开发 为什么是前端工程化的基石
查看更多 2026-08-04
从从等待到流式来看，LLM 流式输出的原理、协议与工程实践 打开任何一个 AI Chatbot——ChatGPT、Claude、DeepSeek——你输入一个问题。它不像传统网页那样转圈等 几秒 接下来啪地一下弹出全部回答。相反，文字像打字机一样一个字一个字地往外蹦。 这不是动画效果，也不是前端做了一个“打字机 CSS 动画”。 这是 HTTP 协议层的一条水流：LLM 服务端每生成一个
查看更多 2026-08-03
1. 让回答流动起来 在 CLI 版本中。程序必须等模型生成完全部内容，才能一次性打印回复。问题越复杂、回复越长，使用者面对空白界面的时间就越久。即使总耗时没有变化，这种“提交后毫无反馈”的体验也很容易让人怀疑：请求到底发出去了吗？怎么说呢，程序是不是卡住了？其实， 常见的 AI 应用通常不会等完整答案生成后再展示。而是在收到第一批文本后立即呈现，后续内容持续追加。这样不能缩短模型真正的生成时间
查看更多 2026-08-03
虽然现在聊 AI 流式传输有些晚了但真正落地过生产级工程的人其实并没有想象中那么多。还没有尝试过，这篇文章就是为 AI 流式传输梳理一条清晰的思路。带你从选型到实践，少走弯路。 正文 在对话交互时打字机效果 已成为标配。这种实时逐字输出的视觉体验，其底层主要在于流式传输 。 这篇文章采用渐进式展开 策略来讲这个问题。 一、业务选型：从协议原理到业务取舍 原理上这方面，SSE 单向流与传统
查看更多 2026-08-03
Demand feedback
