Elasticsearch

项目#xff0c;将之前的奥运会数据集加载到索引中#xff0c;使用推理处理器和

ELSER

expansion查询以自然语言表达形式搜索历史奥运会比赛信息。

工具和数据集

年夏季奥运会参赛者的数据集。

它包含有关比赛年份、比赛类型、参赛者姓名、他们是否赢得奖牌以及最终获得哪枚奖牌以及其他信息的信息。

对于数据集操作我们将使用

eland请注意下面我使用的版本。

如果你使用的不是同一个版本则可能需要根据你使用的版本中的任何最终语法更改来调整代码。

python3

密钥是从环境变量中读取的你需要根据自己的情况使用适当的值或者使用你喜欢的任何方法来读取凭据。

from

environ.get(SERVERLESS_ENDPOINT_URL)

serverless_api_key

environ.get(SERVERLESS_API_KEY)client

Elasticsearch(serverless_endpoint,api_keyserverless_api_key

)client.info()如果一切配置正确你应该得到如下输出

serverless,

d6c6698e28c34e58b6f858df9442abac,

cluster_uuid:

minimum_wire_compatibility_version:

8.11.0,

minimum_index_compatibility_version:

8.11.0},

模型。

我们将检查该模型是否之前已部署并将其删除以执行全新安装。

此外由于部署阶段可能需要几分钟我们将不断检查模型配置信息以确保在进入下一阶段之前模型定义存在。

有关更多信息请查看Get

trained

try:client.ml.delete_trained_model(model_id.elser_model_2,

deleted

exceptions.NotFoundError:print(Model

doesnt

client.ml.put_trained_model(model_id.elser_model_2,input{field_names:

Check

client.ml.get_trained_models(model_id.elser_model_2,

status[trained_model_configs][0][fully_defined]:print(ELSER

Model

deployed.)breakelse:print(ELSER

Model

deployed.)time.sleep(5)一旦我们确认模型已下载并准备部署我们就可以继续启动

function

https://www.elastic.co/guide/en/elasticsearch/reference/current/get-trained-models-stats.html

def

get_model_routing_state(model_id.elser_model_2):try:status

client.ml.get_trained_models_stats(model_id.elser_model_2,)return

status[trained_model_stats][0][deployment_stats][nodes][0][routing_state][routing_state]except:return

None#

get_model_routing_state(.elser_model_2)

started:print(ELSER

deploymentclient.ml.start_trained_model_deployment(model_id.elser_model_2,number_of_allocations16,threads_per_allocation4,wait_forstarting)while

True:if

get_model_routing_state(.elser_model_2)

started:print(ELSER

deployed.)breakelse:print(ELSER

Model

csv_fileAthletes_summer_games.csved.csv_to_eland(csv_file,es_clientclient,es_dest_indexindex,es_if_existsreplace,es_dropnaTrue,es_refreshTrue,index_col0,es_type_overrides{City:

text,Event:

elser-olympic-games。

你还可以将生成的数据框

(eland.DataFrame)

我们使用语义搜索探索过去奥运会比赛数据的下一步是创建一个包含运行

ELSER

的摄取管道。

已选择一组字段并将其串联成推理处理器将在其上工作的单个字段。

根据你的用例你可能需要使用另一种策略。

script

模型将串联字段作为输入并将输出存储在稀疏向量类型字段中参见以下要点。

client.ingest.put_pipeline(idelser-ingest-pipeline,descriptionIngest

pipeline

concatenated_text,output_field:

concatenated_text_embedding}]}}]

)准备索引

这是使用自然语言表达查询过去奥运会比赛数据之前的最后一个阶段。

我们将更新之前创建的索引的映射添加一个

sparse

indexelser-olympic-gamesmappings_properties{concatenated_text:

{type:

text},concatenated_text_embedding:

{type:

}client.indices.put_mapping(indexindex,propertiesmappings_properties

)填充稀疏向量字段

client.update_by_query(indexelser-olympic-games,pipelineelser-ingest-pipeline,wait_for_completionFalse

ELSER

的分配数量和每个分配的线程数。

完成此步骤后我们现在可以开始使用语义搜索探索过去的奥运会数据集。

让我们使用语义搜索探索奥运会数据集

查询使用自然语言表达来检索有关过去奥运会比赛的信息。

在进行演示之前让我们创建一个函数来检索和格式化搜索结果。

def

semantic_search(search_text):response

client.search(indexelser-olympic-games,size3,query{bool:

{must:

Medal}}]}},source_excludes*_embedding,

hit

hit[_source][Medal]print(fScore:

{score}\nDocument

{medal}\n)上述函数将接收有关往届奥运会比赛获胜者的问题并使用

Elastic

查询执行语义搜索。

检索到的结果将被格式化并打印出来。

请注意我们强制查询中存在奖牌因为我们只对获胜者感兴趣。

我们还将结果的大小限制为

3因为我们预计会有三名获胜者金牌、银牌、铜牌。

同样根据你的用例你可能不一定会做同样的事情。

️‍♂️

serverless以避免任何额外费用。

要进一步了解请随时查看我们的

Elasticsearch

自行决定。

任何当前不可用的特性或功能可能无法按时交付或根本无法交付。

想要获得