为什么要先建测试集

这个系列要做一件事：横向对比六个开源 RAG 方案，给出选型建议。

但“横向对比”有一个前提：同一套问题，同一套评分标准。如果每篇文章都用自己的文档、自己出的题，结果没有可比性——你测 LightRAG 用的是 API 文档。测 GraphRAG 用的是论文，这不叫对比，叫各显神通。

再看使用者痛点，你是否在评测时发现不同方案的结果无法直接比较？这往往是因为测试集不一致导致的。不过，先统一建好测试集，才能真正把握方案差异。

在跑第一个方案之前，先把测试集建好。这篇文章记录这件事的完整过程。

为什么不直接用 BEIR

第一个直觉是去找现成的标准数据集。RAG 评测领域最常引用的是 BEIR——一个包含 个子集的检索基准，覆盖问答、事实核查、医疗文献等。

但 BEIR 有一个根本性问题：它是学术检索任务和公司知识库的实际使用场景有明显的分布差距。

用 BEIR 测公司 RAG。就像用高考题去测岗位面试能力——题型对不上，分数没有参考价值。说起来，

User Pain Point: You might worry that using an academic benchmark will give you misleading scores for your real-world system.

正确的做法这方面。用与目标场景同分布的文档，合成专属测试集。

文档来源的选择

测试集要能代表“公司技术文档”这个类别。选了两套开源项目的官方文档：

• API 服务配置、Docker 部署、多站点部署
• 文件处理流程、分块策略、解析器开发
• Milvus 配置、离线部署、角色 LLM 配置
• 架构设计、默认数据流、输入输出格式
• 索引配置、查询方式、提示词调优
• CLI 使用、可视化工具

This 两套文档特点恰好是公司技术文档典型形态：有操作步骤、有配置示例、有跨文档依赖关系。而且 LightRAG 和 graphrag 本身就是后续要测的方案，用它们的文档做测试集既自洽又实战代表性。

User Pain Point: You may have struggled selecting documents that truly reflect your internal knowledge base.

Total 个有效文档。

三类问题的设计逻辑

再看类型一，单跳事实查询

答案直接在某一个文档里不需要跨文档推理。

测的是： 检索基础召回能力——给定问题，能不能找到包含答案的 文档片段？

Q: What are two main categories of configuration settings in LightRAG Docker Deployment?A: Server Configuration and LLM Configurationsrc: Q: What is condition under which query/document asymmetric embedding is enabled in LightRAG?A: query/document asymmetric embedding is enabled only when EMBEDDING_ASYMMETRIC=true is explicitly setsrc:

至于类型二，多跳推理

Q: How does configuration of Milvus index parameters through vector_db_storage_cls_kwargs facilitate a multi-site deployment of LightRAG?A: The configuration allows dynamic configuration for different LightRAG instances in a multi-site setup...src: Q: Compare auntication flow in LightRAG API Server with role-specific LLM configuration approach...src:

从类型三来看，边界拒答

Q: What is cost of a premium support plan for RAG system deployments?A: The provided documents do not contain information about this topic.Q: How does RAG system handle data privacy for users in EU under GDPR regulations?A: The provided documents do not contain information about this topic.Q: What are security protocols implemented in DockerDeployment?A: The provided documents do not contain information about this topic.

User Pain Points:

• Might be confused about how many single-hops vs multi-hops you actually need.
• Lack confidence that your “boundary” questions will really reveal hallucinations.
• You’ve seen or benchmarks that overestimate recall by ignoring cross-document dependencies.

用 LLM 合成题目

再看主要策略概览。

• 给 LLM 原始文本，让它按类型生成问题和参考答案，并在 Prompt 里约束输出格式；

• 单跳题 Prompt 结构：

你是技术文档专家，正在为 RAG 程序建立评测集。给定以下技术文档，生成 {n} 道单跳事实查询题。要求的观点是，- 问题必须能从这篇文章档单独回答
- 覆盖关键概念/配置项/操作步骤
- 输出严格 JSON 格式
从标题来看，{title}
说到内容。{content}
从输出格式来看，

给定多个技术文件生成需要跨文件推理的问题。说到要求，1) 至少 {min_docs} 个文件信息才能完整回答。{documents}