业务方反馈#xff1a;“这个机器人有时候答非所问。

”——你该如何量化“答非所问”的程度#xff1f;你更换了一个新的

Embedding

业务方反馈“这个机器人有时候答非所问。

”——你该如何量化“答非所问”的程度你更换了一个新的

Embedding

模型感觉效果“好像”变好了但如何向团队证明这次升级的价值面对几十个可调参数Chunk

Size、Embedding

的工程实践中过度依赖人工“抽样测试”是一个常见的误区。

工程师们常常输入几个自己熟悉的

Query如果结果看起来不错就认为系统可用。

这种方式在项目初期或许勉强可行但对于追求稳定性和可扩展性的生产级应用而言其弊端是致命的。

首先缺乏量化标准。

模糊的“感觉不错”根本无法成为衡量系统迭代效果的可靠标尺。

其次覆盖面极为有限。

少数几个

Query

无法代表用户真实、多样化的查询意图导致评估结果存在严重的偏差。

最关键的是这种评估方式缺乏问题定位能力。

当系统表现不佳时我们无法准确判断问题究竟出在“检索Retrieval”环节还是“生成Generation”环节产生了幻觉。

RAG

的性能从一个模糊的“好/坏”概念拆解为一组可量化、可追踪、可分析的客观指标。

这才是我们进行工程优化实现数据驱动迭代的基石。

RAG

的性能考量都离不开以下四个核心维度。

透彻理解它们是后续所有实践的基础。

答案忠实度

系统生成的答案是否严格基于其所引用的上下文信息。

简单来说就是模型是否“说谎”或“脑补”了事实。

重要性

在对信息准确性有极高要求的领域如金融分析、医疗诊断、法律咨询等任何虚假信息都可能带来灾难性后果。

高忠实度是

RAG

会逐句分析生成的答案并追溯其内容是否能在检索到的上下文中找到直接或间接的支撑证据。

如果答案中的某个陈述无法在上下文中找到依据那么其忠实度得分就会降低。

答案相关性

系统生成的答案与用户提出的原始问题Query之间的契合程度。

一个忠实的答案不一定就是相关的答案。

重要性

是谁”系统检索到大量关于特斯拉汽车销售的数据并生成了一段关于特斯拉销量表现的完全正确但与问题无关的答案。

虽然答案内容真实但用户并未得到他想要的信息。

高相关性确保

RAG

系统生成的答案评估答案内容对解决该问题的直接帮助程度。

如果答案偏离了用户问题的核心意图即使内容真实其相关性得分也会降低。

上下文精度

系统检索到的上下文信息中有多少比例是与用户问题真正相关的有用信息。

这是衡量检索模块“精炼”能力的关键指标。

重要性

如果检索回来的上下文中充斥着大量噪声不相关或冗余信息即使强大的生成模型也可能在“沙中淘金”时迷失方向导致最终答案质量下降甚至产生误导。

高精度有助于生成模型更高效、准确地利用信息。

评估机制

会逐句审视检索到的上下文并判断每一句内容对于回答用户问题是否是必需的、有价值的。

无关或冗余的句子会降低上下文精度得分。

上下文召回率

上下文召回率衡量的是为了完整回答用户问题所需的所有关键信息是否都成功地从知识库中被检索出来了。

这是评估检索模块“全面性”的关键指标。

重要性

低召回率意味着检索模块未能找到回答问题所需的全部关键信息导致生成模型“无米之炊”无法给出全面、准确的答案。

例如用户询问某事件的起因和结果但检索只返回了起因的信息结果部分缺失这就是召回率低的表现。

评估机制

系统检索到的上下文中是否都已覆盖。

未覆盖的信息点会降低召回率得分。

RAG

的评估奠定了理论基础。

接下来我们将探讨如何利用具体的评估框架将这些抽象的度量衡转化为可操作的实战工具。

二、评估框架实战RAGAS

领域最受欢迎、最易于上手的评估框架之一。

其核心思想是“LLM-as-a-Judge”大模型即裁判即利用大型语言模型本身强大的理解和推理能力来自动化评估

RAG

不仅提供上述四大核心指标的评估还通过其模块化的设计允许用户自定义评估流程。

数据准备

系统输出的关键数据点的数据集。

这些数据点包括question用户原始查询、contextsRAG

RAGAS

faithfulness、answer_relevancy、context_precision、context_recall。

LLM

RAGAS

LLM如GPT-4作为裁判对每条数据样本的特定指标进行评估。

例如评估

faithfulness

之间然后可以计算这些分数的平均值得到整个数据集的总体评估结果。

易用性与快速上手

设计极其简洁直观用户可以非常迅速地集成并开始评估尤其适合初学者和快速原型验证。

指标全面

RAG

拥有庞大的用户群体和活跃的社区遇到问题时容易找到支持和解决方案。

开箱即用

默认支持与

本身也可能存在“幻觉”或理解偏差尤其是在处理复杂、领域性强的案例时。

成本考量

如果评估数据集规模庞大频繁调用外部

(answer_relevancy,faithfulness,context_recall,context_precision,

Key

sk-xxxxxxxxxxxxxxxxxxxxxxxxxxxx

data_samples

是什么它在哪方面有提升,什么是GRPO强化训练,Transformer

(GAN)

的主要组成部分有哪些,推荐系统中协同过滤的优缺点是什么],answer:

[Qwen2.5-Omni

是阿里巴巴发布的最新多模态大模型它在视觉和代码理解方面有显著提升。

,GRPO

GRPO

模型的核心思想是自注意力机制Self-Attention它允许模型在处理序列数据时同时关注所有位置的信息而非像循环神经网络那样按顺序处理。

,生成对抗网络GAN主要由一个生成器Generator和一个判别器Discriminator组成它们在博弈中相互学习和提升。

,协同过滤Collaborative

Filtering在推荐系统中表现出色但其存在冷启动问题和稀疏性问题。

],contexts:

[[Qwen2.5-Omni

是由阿里巴巴发布的一款先进的多模态大模型其在处理视觉信息如图表和照片方面表现出色。

,该模型的另一个亮点是在代码相关任务上的卓越能力。

],[GRPO全称为

Google

Optimization是谷歌研究人员提出的一种创新的强化学习算法旨在通过被拒绝的样本进行学习。

],[Transformer

模型由

Need》中提出。

其核心是自注意力机制能够并行处理序列数据大大提高了训练效率。

,相比于

RNN

包含两个神经网络生成器G和判别器D。

,生成器负责生成新的数据样本而判别器则负责判断输入数据是真实的还是由生成器生成的。

,二者通过对抗训练不断提升各自的能力。

],[协同过滤Collaborative

Filtering是推荐系统中最常用的技术之一它根据用户或物品之间的相似性进行推荐。

,优点包括无需领域知识、能发现潜在兴趣。

缺点是**冷启动问题**新用户或新物品没有足够的交互数据、**稀疏性问题**数据稀疏时相似性计算不准确、**可扩展性问题**数据量大时计算开销大。

]],ground_truth:

[Qwen2.5-Omni

是阿里巴巴最新发布的多模态大模型主要在视觉理解如图表、照片和代码智能方面能力得到了加强。

,GRPOGoogle

Rejected

Optimization是谷歌提出的一种强化训练算法它利用被拒绝的模型输出进行优化学习。

,Transformer

模型的核心在于自注意力机制它使得模型能够并行处理序列中的所有元素并捕捉它们之间的长距离依赖关系从而在自然语言处理任务中取得了巨大成功。

,生成对抗网络GAN主要由生成器Generator和判别器Discriminator这两个核心神经网络组成它们通过零和博弈的方式进行训练最终生成逼真的数据。

,协同过滤的优点在于无需事先了解物品或用户的属性能够发现用户潜在的兴趣。

然而它面临冷启动问题对新用户或新物品推荐效果差、数据稀疏性问题以及可扩展性问题处理大规模数据时计算复杂度高。

]

eval_dataset

Dataset.from_dict(data_samples)#

注意context_recall

[faithfulness,answer_relevancy,context_precision,context_recall,

执行评估

evaluate(dataseteval_dataset,metricsmetrics_to_evaluate,

将结果转为Pandas

metrics_to_evaluate:print(f{metric.name}:

{df_results[metric.name].mean():.4f})输出结果分析

Pandas

questionanswercontextsground_truthfaithfulnessanswer_relevancycontext_precisioncontext_recallQwen2.5-Omni

是阿里巴巴发布的最新多模态大模型它在视觉和代码理解方面有显著提升。

[‘Qwen2.5-Omni

是由阿里巴巴发布的一款先进的多模态大模型其在处理视觉信息如图表和照片方面表现出色。

’,

该模型的另一个亮点是在代码相关任务上的卓越能力。

]Qwen2.5-Omni

是阿里巴巴最新发布的多模态大模型主要在视觉理解如图表、照片和代码智能方面能力得到了加强。

1.01.01.01.0什么是

GRPO

Optimization是谷歌研究人员提出的一种创新的强化学习算法旨在通过被拒绝的样本进行学习。

’]GRPOGoogle

Rejected

Optimization是谷歌提出的一种强化训练算法它利用被拒绝的模型输出进行优化学习。

1.01.01.01.0Transformer

模型的核心思想是自注意力机制Self-Attention它允许模型在处理序列数据时同时关注所有位置的信息而非像循环神经网络那样按顺序处理。

[‘Transformer

模型由

Need》中提出。

其核心是自注意力机制能够并行处理序列数据大大提高了训练效率。

’,

相比于

模型的核心在于自注意力机制它使得模型能够并行处理序列中的所有元素并捕捉它们之间的长距离依赖关系从而在自然语言处理任务中取得了巨大成功。

1.01.01.01.0生成对抗网络

(GAN)

的主要组成部分有哪些生成对抗网络GAN主要由一个生成器Generator和一个判别器Discriminator组成它们在博弈中相互学习和提升。

[’

生成对抗网络GANs由

生成器负责生成新的数据样本而判别器则负责判断输入数据是真实的还是由生成器生成的。

’,

二者通过对抗训练不断提升各自的能力。

]生成对抗网络GAN主要由生成器Generator和判别器Discriminator这两个核心神经网络组成它们通过零和博弈的方式进行训练最终生成逼真的数据。

1.01.01.01.0推荐系统中协同过滤的优缺点是什么协同过滤Collaborative

Filtering在推荐系统中表现出色但其存在冷启动问题和稀疏性问题。

[’

Filtering是推荐系统中最常用的技术之一它根据用户或物品之间的相似性进行推荐。

‘,

优点包括无需领域知识、能发现潜在兴趣。

缺点是冷启动问题新用户或新物品没有足够的交互数据、稀疏性问题数据稀疏时相似性计算不准确、可扩展性问题数据量大时计算开销大。

’]协同过滤的优点在于无需事先了解物品或用户的属性能够发现用户潜在的兴趣。

然而它面临冷启动问题对新用户或新物品推荐效果差、数据稀疏性问题以及可扩展性问题处理大规模数据时计算复杂度高。

0.8333331.01.00.833333

RAGAS

0.9667通过这张表我们可以清晰地看到每个问题在四大核心维度上的得分。

例如如果

faithfulness

输出的偏好判断例如某个答案是否比另一个更好从而更好地模拟人类的评估标准。

ARES

预训练好的裁判模型。

评估过程在本地运行裁判模型根据其学习到的偏好对

RAG

通常会评估上下文相关性、答案忠实度、答案相关性这三大核心指标。

结果输出

评估准确性高

通过微调专用裁判模型使其评估结果与人类专家的判断具有更高的一致性Correlation。

这意味着

ARES

虽然是黑盒模型但由于是专用评估模型其在特定评估任务上的表现更稳定和可预测。

部署复杂性

是什么它在哪方面有提升,什么是GRPO强化训练,Transformer

(GAN)

的主要组成部分有哪些,推荐系统中协同过滤的优缺点是什么],answer:

[Qwen2.5-Omni

是阿里巴巴发布的最新多模态大模型它在视觉和代码理解方面有显著提升。

,GRPO

GRPO

模型的核心思想是自注意力机制Self-Attention它允许模型在处理序列数据时同时关注所有位置的信息而非像循环神经网络那样按顺序处理。

,生成对抗网络GAN主要由一个生成器Generator和一个判别器Discriminator组成它们在博弈中相互学习和提升。

,协同过滤Collaborative

Filtering在推荐系统中表现出色但其存在冷启动问题和稀疏性问题。

],contexts:

[[Qwen2.5-Omni

是由阿里巴巴发布的一款先进的多模态大模型其在处理视觉信息如图表和照片方面表现出色。

,该模型的另一个亮点是在代码相关任务上的卓越能力。

],[GRPO全称为

Google

Optimization是谷歌研究人员提出的一种创新的强化学习算法旨在通过被拒绝的样本进行学习。

],[Transformer

模型由

Need》中提出。

其核心是自注意力机制能够并行处理序列数据大大提高了训练效率。

,相比于

RNN

包含两个神经网络生成器G和判别器D。

,生成器负责生成新的数据样本而判别器则负责判断输入数据是真实的还是由生成器生成的。

,二者通过对抗训练不断提升各自的能力。

],[协同过滤Collaborative

Filtering是推荐系统中最常用的技术之一它根据用户或物品之间的相似性进行推荐。

,优点包括无需领域知识、能发现潜在兴趣。

缺点是**冷启动问题**新用户或新物品没有足够的交互数据、**稀疏性问题**数据稀疏时相似性计算不准确、**可扩展性问题**数据量大时计算开销大。

]],ground_truth:

[Qwen2.5-Omni

是阿里巴巴最新发布的多模态大模型主要在视觉理解如图表、照片和代码智能方面能力得到了加强。

,GRPOGoogle

Rejected

Optimization是谷歌提出的一种强化训练算法它利用被拒绝的模型输出进行优化学习。

,Transformer

模型的核心在于自注意力机制它使得模型能够并行处理序列中的所有元素并捕捉它们之间的长距离依赖关系从而在自然语言处理任务中取得了巨大成功。

,生成对抗网络GAN主要由生成器Generator和判别器Discriminator这两个核心神经网络组成它们通过零和博弈的方式进行训练最终生成逼真的数据。

,协同过滤的优点在于无需事先了解物品或用户的属性能够发现用户潜在的兴趣。

然而它面临冷启动问题对新用户或新物品推荐效果差、数据稀疏性问题以及可扩展性问题处理大规模数据时计算复杂度高。

]

DataFrame

data_samples[question],llm_answer:

data_samples[answer],retrieved_context:

data_samples[contexts],ground_truth_answer:

})#

会使用本地下载的微调模型作为裁判如果设置为True则会使用OpenAI模型

ares_evaluator

ares_evaluator.score(data_for_ares)#

将得分整合回DataFrame

len(context_relevance_scores):.4f})

print(fFaithfulness:

len(answer_relevance_scores):.4f})输出结果分析

ARES

的详细得分我们可以更精确地分析模型在不同维度上的表现。

例如如果

faithfulness

得分较低可能意味着模型在生成答案时即便有相关上下文也倾向于“自由发挥”而

context_relevance

拿到了评估报告工作才完成了一半。

真正的价值在于如何利用这些数据指导我们的优化工作。

这才是评估闭环的关键它将

RAG

系统检索到的上下文质量很高精度高并且生成模型能够很好地基于这些上下文回答问题忠实度和答案相关性高。

然而我们的检索系统却未能将所有相关的知识都找出来召回率低这意味着尽管模型能很好地利用已有的信息但它可能因为信息不全而无法给出最全面或最准确的答案。

优化策略

基于这个诊断我们应该集中火力优化检索模块而非花费大量精力去调整生成模型的

优化分块策略

是否太大了这可能导致一个文档块中包含了太多不相关的信息挤占了其他相关

Chunk

是否太小了这可能导致一个完整的语义单元被切分到了多个块里使得检索时难以完整捕获。

实践建议

Chunk

等不同长度入手同时调整重叠区域Overlap确保上下文的连续性。

使用分块可视化工具如

LangChain

模型进行微调Fine-tuning以提升其对领域概念的理解和编码能力。

引入重排序Re-ranking机制

用户的原始查询可能不是最优的例如过于简短、模糊或包含歧义。

实践建议

LLM

先对用户查询进行改写、扩展或生成多个子查询。

例如将“苹果”扩展为“苹果公司”或“苹果水果”将模糊的查询拆解成多个明确的子查询再用这些优化后的查询去检索最后合并检索结果。

这种方法可以显著提升复杂查询的召回率。

context_recall

分数有显著提升同时其他分数没有下降那么我们就完成了一次成功的、由数据驱动的迭代

RAG

系统的构建绝不是一个一蹴而就的过程而是一个持续测量、分析、优化的循环。

今天我们深入探讨了

RAG

希望你从现在开始能将这些工具和方法论应用到自己的项目中。

放弃“凭感觉”拥抱“数据驱动”这是从一名“能用”RAG

的专家的必经之路。

评估体系的建立虽然前期需要投入精力但它为你后续的每一次迭代都提供了清晰的路标和可靠的依据这笔投资绝对物超所值。

如果你对