RAGAS 四指标评测的反直觉发现

使用 RAGAS 评测 RAG 程序时你可能会遇到这些令人困惑的现象：

• 为什么清洗过的文档和原始文档得分相近？
• 为什么 Context Precision 满分，但答案仍然有幻觉？
• 为什么简单问题得分高，复杂问题得分低？

关键发现的观点是，RAGAS 指标并不像表面上那么直观！

反直觉点1：Context Precision = 1.0 不代表检索无噪音

# 原始文档包含会议纪要 context = "会议记录: 需要更新命名规范。至于新规范，函数名使用小写加下划线。" # LLM 仍会认为这段内容对回答"Python函数命名规范"有贡献 result = llm.judge print # True → Context Precision += 1.0

反直觉点2：Answer Relevancy 低分可能源于简洁答案风格

" answer = "使用try-except-finally语句"

reverseq = llm.generatequestions

similarity_score # → Low Answer Relevancy

公司 RAG 开发者最关心的痛点方法

至于痛点1。检索噪音太多，如何提高 Context Precision？

• 真正方法：改进 Chunking + 提高元数据过滤
• def preprocesschunk: if "会议记录:" in chunk or "作者:" in chunk: return None return chunk chunkeddocs = chunkeddocs = vectorstore.adddocuments

  痛点2的观点是。遗漏关键信息，Context Recall 不稳定？

  • 真正方法：多粒度检索 + 层次化表示学习技术应用示例： from hrl import HierarchicalRetriever retriever = HierarchicalRetriever( baseretriever=vectorstore。queryexpansion=llm,levels= ) relevantchunks = retriever.retrieve # 高层次结果占更高权重，保证关键内容不被遗漏

    说到痛点3，生成答案有幻觉，Faithfulness 飙升？

    • 真正方法：引入动态验证机制 class FaithfulnessGuard: def verify: claims = splitclaims for claim in claims: supportscore = llm.scoresupport if supportscore answer = guard.verify return safeanswer if safe else "I don't have enough information"

      RAGAS 指标在实际使用中的正确理解与误区避免教程

      错误理解方式	正确理解与应对措施
      把 RAGAS 作为绝对质量评估工具		: 用作相对比较和持续监控工具 - 每周定期采样生产流量进行评测 - 跟踪四个指标的趋势变化而非绝对值 CREATE TABLE rag_metrics ( date DATE PRIMARY KEY。faithfulness FLOAT NOT NULL,answerrelevancy FLOAT NOT NULL,contextprecision FLOAT NOT NULL,contextrecall FLOAT NOT NULL );-- 每日自动插入当前评测结果INSERT INTO ragmetrics VALUES,...) ON CONFLICT DO NOTHING;

def serve:
if request.version == 'A':
return version_a_processor.handle