Hugging

本博客和随附笔记本中的代码也将帮助你入门但我们不会深入讨论是什么和为什么。

另外请注意我将在下面展示代码片段但自己做这件事的最佳方法是按照随附的笔记本进行操作。

步骤零

第一步真正的是选择用于重新排名的模型。

深入讨论选择模型和评估结果超出了本博客的范围。

请注意目前

Elasticsearch

虽然没有直接涵盖模型选择但以下博客很好地概述了评估搜索相关性。

对于本指南我们将使用

cross-encoder/ms-marco-MiniLM-L-6-v2。

该模型使用

Marco

cross-encoder/ms-marco-MiniLM-L-6-v2cloud_id

my_super_cloud_id

my_super_secred_api_key!!eland_import_hub_model

--cloud-id

在笔记本中你可以按照步骤设置集群以在下一节中运行重新排名查询。

下载笔记本中显示的模型后的设置步骤如下

使用重新排名任务创建推理端点

检索器进行查询。

文本相似性重新排序器是一个两阶段重新排序器。

这意味着首先运行指定的检索器然后将这些结果传递到第二个重新排序阶段。

query

es.search(indexarxiv-papers-lexical,body{size:

10,retriever:

semantic-reranking,inference_text:

100}},fields:

在这里我们使用标准检索器进行词汇第一阶段检索的简单匹配查询。

你也可以在此处使用

knn

重新排名模型将用于相似性比较的第一阶段结果中的字段。

inference_id

ID。

在这里我们使用我们之前加载的模型。

inference_text

rank_window_size

在两阶段搜索设置中初始词汇搜索为语义重新排序器提供了广泛的文档集以供评估。

返回

100

个结果的较大集合增加了相关文档可供语义重新排序器识别并根据语义内容而不仅仅是词汇匹配重新排序的机会。

这种方法弥补了词汇搜索在捕捉细微含义方面的局限性使语义模型能够筛选出更广泛的可能性。

rank_window_size

是一种平衡。

虽然更大的候选集可以提高准确性但也可能会增加资源需求因此需要进行一些调整以在召回率和资源之间实现最佳权衡。

虽然我不会在本简短指南中对结果进行深入分析但可能引起普遍兴趣的是查看标准词汇匹配查询的前

ArXiv

中是多么容易这样你就可以开始重新排名了。

虽然这不是唯一的重新排名选项但当你在隔离环境中运行、无法访问外部重新排名服务、想要控制成本或拥有一个特别适合你的数据集的模型时它会很有帮助。

想要获得