。

通过分析数据发现#xff0c;接近40%的点击率是直接通过…一、搜索用途通常一个电商平台里面的商品少则几十万多则上千万甚至上亿的sku在这么多的商品中如何让用户可以快速查找到自己想要的商品那么就需要用到搜索功能来实现。

通过分析数据发现接近40%的点击率是直接通过搜索来的。

对于电商网站和平台来讲一个好的搜索功能能帮助用户精准快速的找到想买的商品是提高转化率的重要因素。

二、搜索原理及常用算法2.1搜索原理简介当用户输入关键词或者选择特定维度进行搜索时系统一般会经过以下几个流程步骤进行处理1.输入层→2.逻辑处理层→3.搜索服务层→4.搜索展示层详情见下图2.2搜索常用算法简介搜索技术的基石是NLPNatural

Language

Processing自然语言处理基于NLP会衍生出各种的搜索算法。

本文将简单介绍下其中几种常见的算法如果感兴趣可以自己知乎百度了解。

2.2.1贝叶斯学习算法思想如果一个事物在一些属性条件发生的情况下事物属于A的概率属于B的概率则判定事物属于A。

适用场景贝叶斯算法适用于商品打标分类、个性化推荐等场景。

2.2.2N-Gram分词交叉切分算法算法思想将文本内容按字节流进行大小为N的滑动窗口操作形成长度为N的字符串每个字符串称为gram对全部gram的出现频度进行统计并按照事先设定的阈值进行过滤抛弃垃圾字符串得到新词。

适用场景适用于新书和用户搜索词中的未登录词的识别。

2.2.3TF-IDF算法重点词提取提取重点词的算法有很多种比如TF-IDF算法TextRank算法和CRF序列标注、主题模型算法包括LSALSILDA等。

但是对短文本的提取特别是字符小于10的文本提取关键词行业上也没有比较好的解决办法从目前的测试数据来看TF-IDF算法比较好一些。

算法思想简单的理解为一个词在文档中出现的次数越多而在其它文档中出现的次数少这个词就越重要。

适场场景对于分词工具分词后有多个分词结果提取其中重点关键词的场景。

三、搜索逻辑简介3.1输入层按照内部逻辑划分电商系统中的查询方式通常有两种关键词查询和特定维度查询。

3.1.1关键词查询关键词查询是整个搜索功能最重要的入口可以允许用户随意输入要查询的关键词通常仅有一个查询关键字长度的限制。

关键词通常跟用户想买的商品有及其密切的关联以图书网站为例经过埋点数据分析发现关键词通常有以下几类书名、作者、出版社、品牌、热搜词等关键词通常可以直接在搜索框输入有的网站也增加了图片识别、语音识别等高级搜索功能但本质上还是通过关键词搜索。

比如图片识别就是通过OCR技术识别并提取图片上面的关键词后再进行搜索。

3.1.2特定维度查询特定维度仅可查询由系统指定的部分可属性如分类、价格/折扣、出版时间、开本、装帧等并且用户无法输入查询值仅能选择查询值。

由于这些数据在系统内部都维护有基础数据并且保存在指定的字段中所以对它们的查询相对比较简单。

用户在选中对应选项时可以获得唯一ID之后根据ID查询相应字段获得结果查询相对比较准确。

3.2逻辑处理层当关键词输入之后系统会对输入的关键词进行一系列的清洗处理比如违禁词过滤、文本纠错、同义词转换、跳转规则匹配等。

3.2.1违禁词过滤由于用户输入的搜索词系统是无法控制的所以可能会存在违禁内容为了符合国家法律规定系统需要对用户输入的搜索词进行违禁词过滤后才能进行搜索。

违禁词通常分为极限词、敏感词和禁售类违禁词三大类。

①极限词是指对商品有夸大存在且与实物描述不符表极限的词汇比如最佳、第一、史无前例等。

②敏感词是指国家领导人名称或黄、暴、不雅、带侮辱性、政治倾向等不适合公共场合展示的词汇。

③禁售类违禁词是指不允许在网站或平台售卖商品的词汇比如**、***等。

要屏蔽对应的违禁词后台就需要维护一套违禁词词库当用户输入的关键字在非法词库中就不再做搜索这样可以减轻服务器压力。

每个电商网站或平台的违禁词都不相同而且时常更新。

当然网上一般有现成的词库也可以可以直接导入系统不满足的后台再人工进行维护扩充即可。

3.2.2文本纠错当用户输入查询关键词时可能会输入成拼音、或者错别字比如用户本来想要输入水浒传,实际却输入成“shuihuzhuan或者水许传但是结果依然能返回和水浒传匹配的数据。

这是因为系统逻辑中有一套文本纠错的程序在处理当系统对比有错误时会进行纠正处理。

同样后台也需要维护一套纠错词库当用户输入的关键字如果在纠错词库中则系统会自动将错误关键字替换为设置好的关键字,如:shuihuzhuan-水浒传水许传-水浒传之后查询实际采用的是转换后的关键字。

3.2.3同义词转换当用户输入查询关键词时也有可能输入了和关键词意思相近的词语比如用户本来想要输入三体但实际却输入成3体这个时候系统就会将3体转换为三体再进行下一步处理。

实现的原理和文本纠错一样在此便不再赘述。

3.2.4跳转规则匹配有时我们在电商网站或平台上输入查询关键词后会发现部分关键词结果不会跳转到结果列表页而是跳转到一个商家店铺主页或者活动页如输入关键词4.23世界读书日可能直接就进入到了读书节的活动页面。

要实现这个功能后台同样需要维护一套跳转规则映射库。

用户的搜索关键词与规则库中的关键词匹配时则返回规则所指定的跳转路径前端页面直接跳转过去通常这个跳转规则是有时间限定的。

3.3搜索服务层当用户输入的查询关键词通过违禁词过滤、文本纠错、同义词转换、特定跳转匹配后依然没有匹配结果。

这时系统会将关键字交给商品搜索服务器搜索服务器首先会对关键字进行分词处理然后再根据分词进行商品查询并根据权重规则获得商品权重值之后再进行权重值排序最后返回查询结果。

3.3.1分词分词是指将一个比较长的关键字拆分成多个合理的比较短的关键字的过程。

由于中文不像英文有天然的分隔符因此需要有专门的分词工具来处理。

比如‘人人都是产品经理’这个搜索词经过分词后可以将其拆分为‘人人、都是、产品经理’。

分词看起来很简单但是如何将关键词拆分为好的分词并非易事分词结果的质量好坏直接影响着搜索质量。

比如‘人人都是产品经理’这个搜索词经过不同的分词工具分词后可以有不同的结果比如‘人人、都是、产品经理’‘人、人、都是、产品、经理’经过实际的搜索结果来看第一种分词得到的搜素结果要比第二种好很多。

目前图书行业常用的分词工具有百度分词、jieba结巴分词、HanLP汉语言处理包、NLPIR汉语分词系统等通常正常情况下分词工具都能对关键词正确但是也会出现一些分词异常情况。

比如单字搜索词当用户输入‘飘’则会分词失败这个时候人工将其加入分词库。

另外还有一些新品也会出现分词失败的情况类似场景较多在此便不再展开来讲。

3.3.2权重排序权重是衡量某一指标的重要程度在电商平台里都是各家的商业机密网上公开的资料也是少之又少。

一个商品的权重高低直接决定着商品排序情况权重越高则商品排名越靠前也就意味着商品有更多的曝光率直接影响着销售。

以图书商品为例常用的权重计算维度有销量、图片、套装类型等当然也可以手动调整指定商品的权重。

权重的计算方法有很多中如加权计算法、加权平均数法、AHP层次法、优序图法等等。

3.4搜索展示层商品经过分词搜索再经过权重模型计算排序后就会展示在前端给客户查看但是系统查询的结果不一定就百分百是用户想要的所以用户可以自己根据一定的规则再次进行筛选新排序最终找到自己的想要搜索结果。

常见的排序规则有销量排序、价格排序、销售类型、出版时间排序等。

四、搜索指标商品从搜索到最终付款中间主要有以下几个流程其中搜索结果质量的好坏决定用户是否点击而评估搜索质量主要有两个指标召回率和查准率。

4.1召回率召回率(Recall

Rate也叫查全率)是指搜索出的商品总数与系统中所有和搜索词相关商品总数的比率。

4.2查准率查准率是指搜索出的商品中和搜索词有关系的商品总数与总召回数的比率。

召回率与查准率二者之间没有必然关联但是又是相互制约的。

召回率不是越高越比如当召回率越高时查准率可能越低。

所以我们通产将这两个度量值融合成一个度量值如F度量(F-measure)来进行综合评估。

来源https://mp.weixin.qq.com/s/p_p8DeouvBLM7ako_1OBHA