RAG记忆系统，为何不选？

掌握足够的 AI 使用和应用技Neng，不只是不被淘汰，geng可Neng是借着这波浪潮，Zuo出以前根本没条件Zuo的东西。Zui后想跟大家说：不要怕被 AI 淘汰。

RAG的工作流程是先将知识或历史对话向量化存储，在用户查询时进行相似度检索，将召回的内容拼入 prompt 引导模型生成回答。然而RAG 是为查找外部知识而设计的，不是为记住对话上下文设计的。这导致了它在记忆系统中的诸多缺陷。

我们来kan RAG 用于记忆系统的第一个缺陷：相关性 ≠ 重要性。向量检索召回的是语义Zui相似的内容，而不是Zui重要的内容。例如用户有 5 年 Python 经验这条信息，与“写 Rust HTTP 客户端”这个查询的语义相似度极低，向量检索根本不会召回它，导致 AI 无法利用用户的关键背景信息。

flowchart TD Q DB Q -->|向量化 + 相似度搜索| DB DB -->|"❌ 未召回：我有5年Python经验语义距离太远"| X DB -->|"✅ 召回了：Rust HTTP 相关片段但缺少用户背景"| Y X --> Z Y --> Z

另一个显著的问题是RAG 的切片存储导致上下文断裂。比如“她不喜欢这个方案”存入向量库后下次检索出来AI Yi经不知道“她”是谁了。对话中的“我、我老婆、我们的项目”是一个整体叙事，但被切片存储后人称关系断裂，AI 拿到孤立片段，hen容易产生理解错误。

为了解决这些问题，我们团队采用了memory.md + 压缩上下文的方案。memory.md 是一个由开发者手写的项目级偏好文件，每次对话dou全量注入。这避免了所有的召回率问题，让 AI 的行为变得可预测、可调试。

- 年 Python 后端经验，熟悉 FastAPI 和 async 编程- 目前正在学习 Rust，Yi完成所有权章节- 偏好：代码示例简洁，不需要解释基础概念用户询问了 Rust 学习路径，决定下一步学习 async/await。用户明确表示不喜欢理论解释，geng喜欢直接kan代码。

在实际对话中，我们通过压缩上下文来解决会话历史的问题。当 token 快到上限时触发压缩，将多轮对话浓缩为结构化摘要存入普通 KV 数据库，无需向量化。这样既保留了关键信息，又避免了 RAG 的概率性召回问题。

flowchart TD A --> B B --> C C --> D D --> E E -->|" 触发压缩"| B

同样的问题，换了方案之后效果截然不同。之前 RAG 可Neng导致 AI 从零开始解释基础概念，而现在 AI 知道用户是老手，直接给代码；知道用户学过 Python async，Zuo了类比——一切关键上下文dou完整保留了。

🤖 ❌ 好的，这是一个基础的 HTTP 客户端示例。 你需要了解什么是 HTTP 协议…… 🤖 ✅ 直接上代码，用 reqwest 库。考虑到你熟悉 Python async，这里的 .await 语法应该hen眼熟： use reqwest;async fn fetch -> Result { reqwest::get.await?.text.await}

我们的解决方案采用两层架构：短期记忆+ 长期记忆。这两层dou不依赖向量检索，而是确定性地注入 system prompt，大大提升了记忆的准确性和可靠性。

flowchart TD subgraph 短期 A1 A2 A3 end subgraph 长期 C end A1 & A2 & A3 -->|"触发压缩"| B B --> SP C --> SP SP --> AI AI -->|"发现新信息时自动geng新"| C

RAG 真正擅长的是大规模、相对静态、面向事实查询的知识库场景，比如文档、FAQ、手册的检索。RAG Ke以高效地完成知识检索任务。然而对于需要动态记忆和个性化理解的场景，RAG 就显得力不从心了。

flowchart LR A -->|切片 + 向量化| B C -->|向量化| D{语义相似度搜索} B --> D D -->|召回 top-k 片段| E C --> E E --> F

共勉。

"会用 AI 的你 vs 不会用 AI 的你"

所以现在这个阶段，真正的竞争不是“你 vs AI”，而是 "会用 AI 的你 vs 不会用 AI 的你"。 掌握足够的 AI 使用和应用技Neng，不只是不被淘汰，geng可Neng是借着这波浪潮，Zuo出以前根本没条件Zuo的东西。 我在实际Zuo AI 应用的过程中，越来越清楚地感受到一件事——AI 现在有多强大，就有多需要人来掌舵。

未来我会慢慢把这些心得整理出来分享，包括但不限于： * AI 应用架构设计原则，如何构建稳定可靠的记忆系统；

prompt 工程的Zui佳实践，如何Zui大化模型的输出质量；

agent 设计的关键考虑因素，如何让 AI 真正理解用户的需求；以及如何平衡技术创新与实际业务场景的应用落地。

只有真正Zuo过落地项目，才Neng深刻理解这些经验的重要性。希望我的分享Neng为大家在 AI 应用落地的道路上提供一些参考和启发。

RAG 作为一种强大的技术手段，在特定领域依然有其不可替代的价值。然而当我们面对需要复杂记忆和高度个性化的场景时就需要另辟蹊径，采用geng加精准和可靠的解决方案。通过 memory.md 和压缩上下文结合的两层架构，我们成功地解决了 RAG 在记忆系统中的诸多痛点，为打造geng智Neng、geng人性化的 AI 应用奠定了坚实的基础。

让我们共同期待，在不久的将来AI 技术Neng够geng好地服务于人类，推动社会的进步和发展。RAG 用于记忆系统的四大结构性缺陷缺陷 ：相关性 ≠ 重要性

向量检索召回的是语义Zui相似的内容，不是Zui重要

的内容。

flowchart TD
                Q
                Q -->|向量化 + 相似度搜索| DB
                DB -->|"❌ 未召回：我有5年Python经验
语义距离太远"| X
                DB -->|"✅
                Y --> Z
            

                -
                 年 Python 后端经验，熟悉 FastAPI 和 async 编程-
                 目前正在学习 Rust，Yi完成所有权章节-
                 偏好：代码示例简洁，不需要解释基础概念
                【上次对话摘要 ] 用户询问了 Rust 学习路径，决定下一步学习 async/await。
            

不要让 AI 去检索记忆，而是直接把精炼过的记忆放进 context 里。这不仅Neng提高效率，还Neng确保关键信息的准确传达，是提升 AI 应用体验的关键一步。当然在实践中，我们还需不断优化这一过程，以应对复杂多变的实际场景。。当然在实践中，我们还需不断优化这一过程，以应对复杂多变的实际场景。。当然在实践中，我们还需不断优化这一过程，以应对复杂多变的实际场景。当然在实践中，我们还需不断优化这一过程，以应对复杂多变的实际场景。当然在实践中，我们还需不断优化这一过程，以应对复杂多变的实际场景。当然在实践中，我们还需不断优化这一过程，以应对复杂多变的实际场景。当然在实践中，我们还需不断优化这一过程，以应对复杂多变的实际场景。当然在实践中，我们还需不断优化这一过程，以应对复杂多变的实际场景。当然在实践中，我们还需不断优化这一过程，以应对复杂多变的实际场景。当然在实践中，我们还需不断优化这一过程，以应对复杂多变的实际场景。当然在实践中，我们还需不断优化这一过程，以应对复杂多变的实际场景。当然在实践中，我们还需不断优化这一过程，以应对复杂多变的实际场当然在实践中，我们还需不断优化这一过程，以应对复杂多变的实际场当然在实践中，我们还需不断优化这一过程，以应对复杂多变的实际场当然在实践中，我们还需不断优化这一过程，以应对复杂多变的实际场当然在实践中，我们还需不断优化这一过程，以应对复杂多变的实当然在实践中，我们还需不断优化这一过程，以应对复杂多变的实当然在实践中，我们还需不断优化这一过程，以应对复杂多变的实当然在实践中，我们还需不断优化这一过当然在实践中，我们还需不断优化这一过当然在实践中，我当然在实……践……  AI AI AI……

TypeScriptCopyCopied!