件远程词典配置

背景远程词典配置新增远程词典文件修改hanlp-remote.xml自动加载词典

远程词典测试

在使用elasticsearch的过程中总会遇到与分词相关的需求这里将针对常用的elasticsearch

hanlp后面统称为

hanlp通过更改关键词文件配置自定义词典的内容可以参考文章https://developer.aliyun.com/article/1163240本文主要是讲述另外一种自定义词典内容的操作配置远程词典。

远程词典配置

hanlp关于远程词典的文件配置方式参考官方文档即可文档地址https://github.com/KennFalcon/elasticsearch-analysis-hanlp/tree/master这里我把远程词典文件放在我们的腾讯云上面主要是因为es

hanlp

ETag来确定远程文件是否有变动进而决定是否需要加载更新而腾讯云返回的文件是直接带有Last-Modified和

符合官方文档要求的远程词典文件返回两个头部(header)一个是

ETag

另外如果大家想要使用腾讯云COS作为远程词典文件存放位置的话需要注意必须要用文件的原始请求地址不能用有CDN缓存的地址这样才能达到1分钟热更新的目的。

比如

http://存储桶名.cos.ap-beijing.myqcloud.com/ei-dongao/mywords.txt远程词典文件准备好之后就可以修改es

hanlp

找到hanlp-remote.xml配置文件路径ES_HOME/config/analysis-hanlp

这里配置好远程词典路径之后需要重启es因为改动了配置文件嘛后续更改远程配置文件的内容时就无需重启es了因为你没有改动es的配置文件。

自动加载词典

reload[2023-04-24T13:29:17,163][INFO

[ei-test-es-node190]

http://存储桶名.cos.ap-beijing.myqcloud.com/ei-dongao/mywords.txt[2023-04-24T13:29:17,623][INFO

[ei-test-es-node190]

http://存储桶名.cos.ap-beijing.myqcloud.com/ei-dongao/mywords.txt比如我在远程词典中增加关键词

注多台es服务器配置时需保证指向相同的远程词典路径保证加载关键词文件的一致

远程词典测试

在远程词典测试之前我们需要对我们的索引开启远程词典这需要配置自定义分词并开启远程词典加载开关es

hanlp

自定义分词配置参考博文https://developer.aliyun.com/article/1163285

POST

true,enable_custom_config:true,enable_remote_dict:true}}}}}

然后配置关键词

这里有一点需要说明新增加关键词的话热加载完成之后es分词就可以按照增加的关键词进行分词但是删除关键词的话还是会按之前增加的关键词进行分词可能是es

hanlp插件有缓存机制也可能是插件版本的问题我用的是匹配es版本6.7.1的hanlp插件最新的版本可能不会存在这个问题但是鉴于升级es改动较大为了不影响业务只能采用当下版本对应的hanlp插件。

这一点在使用es