(ML)

模型为你的搜索引擎构建排名功能。

通常#xff0c;该模型用作第二…作者来自

Elastic

模型为你的搜索引擎构建排名功能。

通常该模型用作第二阶段重新排名器以提高由更简单的第一阶段检索算法返回的搜索结果的相关性。

这篇博文将解释此新功能如何帮助提高文本搜索中的文档排名以及如何在

Elasticsearch

应用程序构建最佳上下文还是基于数百万篇学术论文制作基于问答的搜索你可能已经意识到准确优化搜索引擎中的文档排名是多么困难。

这就是学习排名的作用所在。

相关性特征是确定文档与用户查询或兴趣的匹配程度的信号所有这些都会影响搜索相关性。

这些特征可能会因上下文而异但它们通常分为几类。

让我们来看看不同领域中使用的一些常见相关性特征

文本相关性分数例如

BM25、TF-IDF从文本匹配算法得出的分数用于衡量文档内容与搜索查询的相似性。

这些分数可以从

Elasticsearch

中获得。

文档属性例如产品价格、发布日期可以直接从存储的文档中提取的特征。

流行度指标例如点击率、浏览量文档的流行度或访问频率的指标。

流行度指标可以通过搜索分析工具获得Elasticsearch

评分函数结合了这些特征为每个文档生成最终的相关性分数。

得分较高的文档在搜索结果中的排名较高。

Elasticsearch

时你会隐式编写一个评分函数该函数对相关性特征进行加权并最终定义你的搜索相关性。

Elasticsearch

权重是估算的分配给每个特征的权重通常基于启发式或直觉。

这些猜测可能无法准确反映每个特征在确定相关性方面的真正重要性。

文档之间的统一权重手动分配的权重统一应用于所有文档忽略特征之间的潜在相互作用以及它们的重要性在不同查询或文档类型之间的变化。

例如新近度的相关性对于新闻文章可能更重要但对于学术论文则不那么重要。

随着特征和文档数量的增加这些限制变得更加明显使得确定准确的权重变得越来越具有挑战性。

最终所选权重成为一种折衷方案可能导致许多情况下排名不理想。

的模型替换使用手动权重的评分函数该模型使用相关性特征计算分数。

你好学习排名

判断列表是一个数据集其中包含查询和文档对以及它们相应的相关性标签或等级。

相关性标签通常是二进制的例如相关/不相关或分级的例如0

表示完全不相关4

表示高度相关。

判断列表可以由人工手动创建也可以从用户参与度数据例如点击次数或转化次数生成。

LambdaMART

使用决策树将排名问题视为回归任务其中树的内部节点是相关性特征的条件而叶子是预测分数。

LambdaMART

使用梯度提升树方法在训练过程中它会构建多个决策树其中每棵树都会纠正其前辈的错误。

此过程旨在根据判断列表中的示例优化

NDCG

QueryFeatureExtractorfeature_extractors[#

want

feature:QueryFeatureExtractor(feature_nametitle_bm25_score,query{match:

{title:

{{query_text}}}}),QueryFeatureExtractor(feature_namecontent_bm25_score,query{match:

{content:

featureQueryFeatureExtractor(feature_namepopularity,query{script_score:

{query:

LTRModelConfig(feature_extractors)2该过程的第二步是构建训练数据集。

在此步骤中你将计算并添加判断列表每一行的相关性特征

FeatureLogger

ltr_config)feature_logger.extract_features(query_params{query:

foo},doc_ids[doc-1,

XGBRanker(objectiverank:ndcg,eval_metric[ndcg10],early_stopping_rounds20,

Shaping

judgments_with_features[ltr_config.feature_names]

groups

judgments_with_features[query_id]#

Split

next(group_preserving_splitter)train_features,

eval_features

ranker.fit(Xtrain_features,ytrain_target,grouptrain_query_groups.value_counts().sort_index().values,eval_set[(eval_features,

eval_target)],eval_group[eval_query_groups.value_counts().sort_index().values],verboseTrue,

Elasticsearch

MLModelLEARNING_TO_RANK_MODEL_ID

ltr-model-xgboostMLModel.import_ltr_model(es_clientes_client,modeltrained_model,model_idLEARNING_TO_RANK_MODEL_ID,ltr_model_configltr_config,es_if_existsreplace,

)要了解有关我们的工具如何帮助你训练和部署模型的更多信息请查看此端到端

Elasticsearch

匹配的文档。

此查询旨在快速捕获大量潜在相关文档。

重新评分阶段learning_to_rank

重新评分器使用

允许你指定我们的某些特征提取器期望的用户发出的查询。

window_size定义首次查询发出的搜索结果中要重新评分的顶级文档top

100

集成为两阶段检索过程你可以通过结合以下方式优化检索过程的性能和准确性

传统搜索的速度首次查询可以非常快速地检索大量具有广泛匹配的文档从而确保快速响应时间。

机器学习模型的精度LTR

模型仅应用于顶部结果top

results优化其排名以确保最佳相关性。

这种有针对性的模型应用可以提高精度而不会影响整体性能。

自己尝试一下

应用程序的上下文相关性还是只是想提高现有搜索引擎的性能你都应该认真考虑

要开始实施

模型并阅读我们的文档。

如果你根据这篇博文构建了任何内容或者你对我们的讨论论坛和社区

Slack