前面七篇文章，我们搭起了一整套 RAG 流程：分块、Embedding、向量库、检索策略。系统跑起来了你问它几个问题，回答kan起来"还不错"。

但问题接踵而至：

RAG 系统的评估，不Neng靠感觉，必须靠数据。

说实话，咱就是说光靠人工检查几条回答，是没法判断系统整体表现的。

本文会带你从零开始，用 RAGAS 框架建立一套可量化的 RAG 评估体系，让你清楚地知道系统好不好、哪里差、怎么改。

RAGAS是专为 RAG 系统设计的开源评估框架。它的核心思想hen朴素：用 LLM 作为裁判，自动判断 RAG 系统的输出质量。

哈哈，你可Neng会问，为什么用 LLM 当裁判？因为传统的 NLP 评估指标只适合Zuo翻译或摘要任务，它们通过字符串匹配来判断相似度，完全无法理解语义。

而 RAG 的评估需要理解"这个答案是否基于上下文"、"这个回答有没有答非所问"——这正是 LLM 擅长的。

RAGAS 提出了几个核心指标，覆盖了 RAG 系统的两个关键阶段：

Faithfulness 衡量生成答案是否忠实于检索到的上下文。Ru果模型在回答中加入了上下文里没有的信息，就是"幻觉"，Faithfulness 就会低。

通俗理解考试时Faithfulness高 = 答案全是根据提供的参考资料写的，没有自己瞎编。

计算方式LLM 被prompt要求逐句检查答案中的每个陈述，判断是否Neng从上下文中推断出来。可推断的陈述数 / 总陈述数 = Faithfulness。

Answer Relevancy 衡量答案与问题的相关程度。即使答案内容是对的，但Ru果偏离了问题的核心，这个指标也会低。

通俗理解你问"怎么学 Python"，对方却给你讲了一通 Java 的历史——虽然内容本身没错，但完全跑题了。

计算方式LLM 根据答案生成若干个问题变体，然后计算这些问题与原始问题的 Embedding 相似度，取平均。

Context Precision 衡量检索结果中相关文档片段的比例。Ru果召回的 N 条上下文里有 M 条完全不相关，Context Precision 就是 M/N。

通俗理解去图书馆找资料，借了 N 本书，只有 M 本有用——你的检索精确度就是 M/N。

计算方式LLM 逐条判断每个上下文片段是否与问题相关，相关条数 / 总条数。

Context Recall 衡量所有与问题相关的信息，有多少被成功检索到了。这是检索阶段Zui核心的指标。

通俗理解考试复习时考卷上有 N 个知识点，你的复习资料只覆盖了 M 个——召回率就是 M/N。

这四个指标互相独立、互相补充，一起构成了 RAG 系统的"体检报告"。 害，为啥要弄这么多指标？因为单一指标根本没法全面评估 RAG 系统的表现。 你可Neng会问，为什么百度不收录我的文章？ 简单来说这可Neng是因为内容质量、关键词优化、网站结构等多个因素导致的。 要想提高收录率，需要从这些方面入手优化。 咱们回到正题。 有了评估指标，还需要测试数据。 一个标准的 RAG 测试样本包含四个字段： { "question": "RAGAS 框架包含哪四个核心评估指标？", "ground_truth": "RAGAS 四个核心指标是：Faithfulness、Answer Relevancy、Context Precision、Context Recall。", "contexts": , "answer": "..." }

question用户问题

ground_truth

contexts RAG 系统检索到的上下文

answer RAG 系统生成的答案

def build_index:  
    # 切分文档，使用 chunk_size 和 chunk_overlap  
    splitter = RecursiveCharacterTextSplitter(  
        chunk_size=self.chunk_size,  
        chunk_overlap=self.chunk_overlap,  
        separators=  
    )  
def query:  
    # 执行检索和生成，使用 top_k 参数控制召回数量 
    contexts = self.retriever.invoke  
    answer = self.chain.invoke