AI 应用工程进阶 学习笔记

阅读说明

这份笔记对应《AI 应用工程入门学习笔记》列出的后续学习方向：

1. RAG 检索质量调整与 Eval。不过，
2. Prompt Injection、数据隔离和安全评测。
3. Agent、Workflow、Memory 与状态机。
4. MCP 与工具环境。不过，
5. FastAPI、PostgreSQL、pgvector 与 Redis。
6. 日志、Trace、Token 成本和可观测性。其实，
7. Docker、CI/CD、部署与回滚。
8. 完整 AI 应用求职项目与面试准备。

常见使用者痛点：

• 程序出现错误时难以定位是检索问题还是生成问题。
• 跨租户数据泄露风险难以评估。
• 模型产生幻觉导致业务流程出错，却没有明确的回滚手段。
• 高并发场景下 Token 成本失控，缺少实时监控手段。
• 工具调用安全审计不完整，导致权限绕过。

这些内容的学习深度分为三档：

深度	含义
必须掌握	应用工程岗位经常使用，需要能够独立设计和排查；理解原理知道作用、边界和常见问题；不要求研究底层算法，按需深入遇到专项岗位或真实问题时再深入。

对应用层开发者而言。主要不是背公式，而是建立完整的工程判断能力：

• 哪些事情交给模型。
• 哪些事情必须由程序决定。
• 哪些数据是权威数据。
• 哪些操作必须鉴权、确认和审计。
• 出现错误时如何定位到具体链路。
• 程序如何部署、扩容、降级和回滚。说起来，

第一章这方面，RAG 检索质量调整与 Eval

为什么需要评估

A RAG 程序回答错误。原因不一定是模型幻觉，还可能是：

1. 文档没有成功入库。
2. 文档解析丢失了表格或标题。其实，
3. Chunk 切分破坏了语义。
4. Embedding 没有召回正确内容。
5. 关键词检索和语义检索策略不合适。说起来，旧版这篇文章档排在新版本之前。
6. 权限过滤错误。老实说，
7. Rerank 排序错误。
8. 上下文中存在互相冲突的资料。
9. 模型拿到了正确资料，但没有正确使用。

不能只检查最终答案，而要分层评估。

RAG 的评估分层

A 完整链路可以拆成：

使用者问题
↓ 问题
↓ 向量检索 / 关键词检索
↓ 权限、租户、版本过滤
↓ Rerank 重排
↓组装上下文
↓ LLM生成答案
↓ 引用与安全检查

每一层需要回答不同的问题：

` ` ``` ` ``` ` ``` ` ``` ` `` ` ` `

层级	主要问题
`索引层`	`正确文档是否完整、及时地进入知识库`
`检索层`	`正确资料是否被找到并排在合理位置`
`生成层`	`模型是否基于资料正确回答`
`程序层`	`延迟、成本、错误率是否可接受`
`安全层`	`是否发生越权、泄露或指令注入`

索引层检查

索引层主要检查：

• 文档是否成功解析。
• 标题 、 段落 、 表格 和 附件 是否 丢失。
• Chunk 是否保存来源信息。
• 文档版本是否正确。
• 更新后是否重新生成向量。
• 被删除文档是否仍能被召回。
• 是否存在大量重复 Chunk。
• Metadata 是否完整。

建议每个 Chunk 至少携带：

json { "chunk_id": "upload-policy-v2-","document_id": "upload-policy","document_version": "","status": "active"。"tenant_id": "company-a","department_id": "mobile","permission_tags":,"source_url": "/docs/upload-policy","updated_at": "" }

如果缺少版本、租户和权限信息，后续检索很难保证正确与安全。话说回来，

检索层常见指标

Hit@K

前 K 个结果中只要存在一个正确文档，就算命中。至于示例，正确文档排在第三位仍算 Hit@K。

Precision@K

前 K 个结果中相关文档所占的比例。

Recall@K

所有应该找到的文档中，实际找到了多少。多文档综合问题尤其关注 Recall。

MRR

关注第一个正确结果排在什么位置。例如第一名得 1.0，第三名约 0.33。

nDCG

用于存在多档相关程度时的排序评估，仅需了解其用于评价排序质量即可，无需深入数学推导。

---