我是个做技术的， 平时就爱捣鼓点代码，最近老有人问我那个啥，就是文本相似度，这玩意儿到底有啥用？能不能立竿见影？说实话，一开始我也没搞懂，后来瞎琢磨了一下发现这事儿还挺有意思的，但也没那么简单。今天我就想用我这不太灵光的脑子， 跟大家唠唠这个，顺便把那些乱七八糟的技术名词都给抖搂出来看看能不能给你们一点启发，当然前提是你们能看懂。

以前的方法就是瞎搞

我无法认同... 那个啥， 以前我们搞文本相似度，那真是简单粗暴，大体上就是看字。你把两个句子拿出来看看里面有多少字是一样的，或者有多少个词是一样的，然后算个百分比。这就好比是两个长得有点像的陌生人，我们硬要说他们是一家人，只要有个三五个共同点，就说是亲戚。

实际上... 那个的余弦相似度作为距离度量,训练BERT预训练模型,获得金融文本编码器。其实也是这么个理儿，就是算个夹角的大小。如果两个向量几乎重合了那就是相似度100%，如果垂直了那就是0%。这个方法吧，有个好处，就是快，不需要动脑子，电脑算起来也快。但是呢，它有个大毛病，就是不懂意思。比如说 你说“我喜欢吃苹果”，我说“我爱啃大苹果”，这两个句子意思其实差不多，都是爱吃苹果，但是那个老办法可能算出来的相似度就不高，主要原因是它没看懂“喜欢”和“啃”是差不多的动作，也没看懂“苹果”就是苹果。

所以后来大家就不干了说这太蠢了得升级。于是就有了后来的各种模型， 什么Word2Vec啊，那个啥FastText啊，反正就是想把这些词变成一种能代表意思的数字。 乱弹琴。 但是吧， 这些数字还是有点太简单了不能很好地处理那种长句子，或者那种反话，或者那种虽然字不一样但意思一模一样的话。

老套路太土了 没意思

市面上很多文本相似度方案用的单句独立编码+余弦相似度的老套路，这个我就不想多说了真的很土。就是先把句子A变成一个数字，把句子B变成一个数字，然后算这两个数字离得远不远。这种方法就像是你分别给两个人量身高，然后看身高差。如果一个人高1米8，另一个人高1米79， 即便是... 你就算他们很接近。但是其实吧，这两个人可能性格完全不一样，一个爱读书，一个爱打架，这能一样吗？肯定不一样啊。所以这个老套路在处理那种表面无关但语义强相关 样本的时候，简直就是个笑话。它根本不知道这两个句子虽然没几个字一样，但意思其实是一回事。

后来我发现了BERT

说句实话… 那个啥， 后来我就试了BERT，这一试不要紧，效果提升了一大截。这BERT是个啥呢？听说是个大块头，是个预训练模型。它采用了Transformer编码器结构，并 和 下一句预测 两个任务进行大规模预训练。听起来是不是挺厉害的？反正我是听不懂，但我知道它好用。

用BERT之后那些乱七八糟的词啊，标点符号啊，它好像都能看懂。它能把一个句子变成一个很长很长的数字向量，这个向量里头包含了句子的所有信息。所以现在再算相似度，就不是看字了是看这两个长数字离得近不近。这样一来像“我喜欢吃苹果”和“我爱啃大苹果”这种句子，相似度就能算得很高了主要原因是它能理解语境，原来小丑是我。。

但是吧，天下没有免费的午餐，BERT让我等个半天才能看个新闻吧？所以这就尴尬了。如果我要处理成千上万条数据， 最后强调一点。 用BERT算一遍，估计电脑都要冒烟了而且速度慢得让人想砸电脑。

效果提升了一大截，但是好慢啊

那个后来试了BERT,效果提升了一大截,但推理速度又成了瓶颈。这话说得一点都没错。BERT模型太大了参数多到数不清，就算用了GPU加速，有时候也还是慢。我就想，有没有那种既聪明又快的模型呢，说白了就是...？

也就是在这个时候，我接触到了StructBERT。这名字听着就挺结构化的，跟那个搞建筑的有关系似的。其实它也是基于BERT的，但是它搞了个新花样，叫结构化增强。它不是光看字， 啥玩意儿？ 它还看句子里的结构。比如主谓宾，比如修饰语，它都特别关注。这就像是以前我们看文章只看字面意思， 现在StructBERT不仅看字面还看文章的骨架，看作者怎么把句子搭起来的。

试着... StructBERT中文语义系统，这名字够长吧？它基于达摩院结构化增强的 StructBERT 架构， 专为 句对匹配 而生，不是通用编码器，而是语义裁判员。这个比喻我觉得还挺形象的。以前的老办法是瞎猜， BERT是猜个大概，StructBERT就是那个拿着裁判哨子的，它在场边盯着，哪句是真话，哪句是假话，它一眼就能看出来。

金融文本的坑

主要原因是我是做金融相关的项目，所以对金融文本特别敏感。金融界的文字那叫一个晦涩，全是专业术语，什么“流动性”、“对冲”、“杠杆”，还有各种缩写。这种文本相似度特别难搞。主要原因是有时候同一个意思，它能变着法儿地说。比如“股票跌了”和“大盘跳水了”， 地道。 虽然都是说股票跌，但前者是描述事实后者是描述动作，而且“跳水”这个词用得比较形象。如果用老办法，可能这两个句子的相似度就不高，主要原因是词不一样。但是用StructBERT，它就能看出来这就是一回事。

那个是:进行训练,调.关系词向量,计算语句的相似度特征;将句向量、 .这段话太专业了我也就不翻译了反正大概意思就是我们找了好多金融界的文章，把意思一样的放在一起，把意思不一样的放在一起， 平心而论... 让模型去学习怎么区分。然后通过训练，调整那些关系词向量，让模型能算出更准的相似度特征。这就好比是让一个新手去学习怎么分辨真假钞票，练多了眼睛就毒了。

孪生网络的双胞胎

说到这个相似度就不得不提孪生网络。这个网络长得很特别，它有两个脑袋，或者说两个编码器。这两个编码器长得一模一样，参数也是完全共享的。这就好比你有一对双胞胎兄弟，他们长得一样，想法也一样，实不相瞒...。

那个

输入句子对 → → 双CLS特征拼接 → 全连接层 → 相似度得分 ↗ ↘ 句子A编码分支 句子B编码分支.，平心而论...

这个流程图我看懂了 就是给你两个句子，让它们一边进入这两个一模一样的编码器。这两个编码器各自处理一个句子，把句子变成向量。然后这两个向量被拼在一起，扔进一个全连接层，再说说输出一个相似度得分。

这种方法的妙处在于，这两个编码器在处理句子的时候，是互相影响的。主要原因是它们共享参数，所以当它们处理句子A的时候，脑子里想的东西，会影响到它们处理句子B的方式。这就像是一对双胞胎，在讨论一个问题，他们互相启发，所以得出的结论往往比一个人瞎琢磨要准确得多。这就是所谓的强制让模型在编码过程中就，调整一下。。

效果立竿见影？我看未必，但也差不多了

那个效果立竿见影:无关文本相似度稳定在0.15以下,真正语义相近句对则普遍跃升至0.75+.尤其在 表面无关但语义强相关 样本上,提升超12个百分点。实测对比:在CLUE-STS-B中文语义相似度基准测试中,该孪生模型Pearson相关系数达86.3%,显著高于同尺寸单编码器方案.这段话里的数字看着挺唬人的，即便是...。

这说明啥？说明这孪生模型确实比以前那些单干户要强。

好家伙... 0.15以下0.75以上。这是什么意思呢？就是说如果两个句子完全没关系的废话，相似度就在0.15左右晃悠，不会太高。如果两个句子意思真的差不多，那就能跑到0.75甚至更高。特别是那些表面上看完全不一样，其实意思一样的句子，提升特别大，超过了12个百分点。在CLUE-STS-B这个大测试集上， Pearson相关系数达到了86.3%，比那个老的单编码器方案高了7.2个百分点。

但是我还是要说效果立竿见影？我觉得也不能说完全立竿见影。模型是好了但是部署起来还是有点麻烦。而且，不同的场景，效果也不一样。如果你处理的是那种特别专业的金融律法文本， 可能效果还行；但如果你处理的是那种网络段子，或者那种充满了网络烂梗的东西，效果可能就没那么神了。毕竟AI也是要吃饭的，它也得看它学了多少书。

GTE模型是个啥

划水。 那个#文本相似度#GTE，直接就能用。 通过 Transformer 编码器将文本映射为固定长度的稠密向量，利用余弦相似度进行语义匹配。参数 值 说明 向量维度 1024 支持高精度语义表达 最大长度 8192 tokens 可处理长文档 支持语言 100+ 种 包括中文、 英文、东南亚小语种等 推理精度 FP16 显存占用减少50%,推理速度提升 注意:必须设置环境变量TRANSFO....，换个思路。这个描述看着挺详细。1024维，8192个字，这都能处理？听起来像是能吞下一整本书。支持100多种语言，这格局就打开了。而且还有个FP16，说是显存占用减少50%，推理速度提升。这个我就特别感兴趣了主要原因是BERT最慢的地方就在显存和速度上。如果这个GTE真的能做到这一点，那我就得好好研究研究。 通用语句编码器的那些事儿 那个在 通用语句编码器 中,我们引入了一种模型,它通过添加更多任务来 上述多任务训练,并通过一种类似 skip-thought 的模型联合训练,该模型可以预测给定文本范围内的句子，YYDS！。这个通用语句编码器，听着也挺厉害。它不是只做一件事，它通过添加更多任务来 训练。这就好比是一个全能的学生，不光数学好，英语好，物理也挺好。它还通过一种类似 skip-thought 的模型联合训练， 这个skip-thought，我理解大概就是跳跃式思考，能预测给定文本范围内的句子。这就像是你看了一半的话，你能猜出后面大概会说什么。 这些编码可用于语义相似度度量、 相关性、分类或自然语言文本的聚类。这就是说它不仅能算相似度，还能干别的。比如分类，把新闻分成体育、娱乐、财经；或者聚类，把一群意思差不多的文章归到一起。这就叫一招鲜，吃遍天？或者叫一鱼多吃？反正好处就是省事，一个模型能干好几个活，啊这...。 到底是好是坏 总的 现在做文本相似度，已经不是以前那个看字数的年代了。BERT、StructBERT、GTE这些模型的出现，确实让效果提升了一大截。那个3. 效果实测:12个真实案例,还原每一分相似度背后的逻辑.StructBERT镜像采用的iic/nlp_structbert_siamese-uninlu_chinese-base模型完全不同:它是一对共享权重的孪生编码器,强制让模型在编码过程中就，躺赢。。这段话里说的12个真实案例，虽然我没看全，但能感觉到，模型确实是在努力，梳理梳理。。这话说得云里雾里的，但我大概明白，就是说在处理的时候，有些编码器可能更准，有些可能更快。这就像是在干活的时候，有的人干活细致，有的人干活快。如果能把这两者结合起来那就完美了。 雪糕刺客。 所以回到最开始的问题，提升文本相似度效果立竿见影？我觉得， 用新技术替换旧技术，效果肯定是有的，但要说完全立竿见影，可能还得看你怎么用，你的数据清不干净，你的场景合不合适。反正我是觉得，现在这个方向是对的，以后肯定会越来越好用。那些乱七八糟的模型，以后也就是我们写代码时候的一个工具罢了。就像我们以前用Excel一样，以后我们可能会用这些大模型来处理文本。只要你会打字，就能立刻验证效果这就足够了。 文本相似度发愁的朋友，能有一点点点的帮助。如果觉得我写得太烂，那就当我没写，我好了。。

---