今天我们深入探讨一种备受瞩目的架构——专家混合Mixture-of-ExpertsMoE大语言模型它在嵌入模型领域展现出了独特的魅力。

一、MoE

是一种包含多个被称为“专家”子网的架构每个子网专注于不同的数据任务或方面。

其优势显著在保持甚至提升模型质量的同时能够以比相同或更大规模的传统模型更少的计算量进行预训练。

例如Mixtral

8x7B

层构成。

需要注意的是变压器的其他组件如自注意力层在不同专家间共享相同权重这使得

MoE

network或路由器router。

它负责接收输入令牌并为每个令牌选择最相关的专家。

比如在示例中路由器左侧会选择第二个专家来处理“more”令牌而对于“Parameters”令牌则选择第一个专家。

通常门控网络会选择与给定令牌最相关的

top

其选择过程是通过将输入单词令牌与门控网络权重进行点积运算再应用

softmax

作为嵌入模型的工作原理之前先来回顾一下嵌入embeddings的相关知识。

在深度学习模型中嵌入是输入数据的内部表示蕴含语义和浓缩的数据信息。

通常我们会提取神经网络的最后隐藏状态作为嵌入。

一般而言基于编码器的模型在提取嵌入方面表现出色因为它们能够通过双向注意力捕捉语义而仅解码器模型常使用因果注意力只能与前一个单词令牌交互无法像编码器

MoE

每层的路由权重反映了对输入令牌的推理选择包含了隐藏状态嵌入可能丢失的输入语义信息。

从数学公式上看如公式

(g)

基于连接的组合MoEE(concat)此方法较为简单直接将路由权重和解码器嵌入进行连接如公式所示。

它能够保留每个路由权重捕获的独特信息同时使下游任务能够利用组合后的表示。

加权和集成MoEE(sum)该方法对由路由权重和隐藏状态HS嵌入计算出的相似度分数进行加权求和记为

是一个超参数用于控制路由权重的贡献。

在计算每对的相似度分数后还需计算其与真实相似度之间的等级相关性如

Spearman

等级相关性。

这种方法适用于比较两个句子的任务如语义文本相似度任务。

在实际应用中MoEE(concat)

技术通过提示特定模板来约束大语言模型预测下一个令牌中的语义信息如在嵌入任务中使用的特定提示。

从性能表现来看MoEE

PromptEOL

能够比有监督和自监督方法取得更好的效果。

虽然其在排行榜上并非最新的最优结果但它的价值在于无需进一步训练就能在嵌入任务中获得不错的结果。

二、MoEE

https://github.com/tianyi-lab/MoE-Embedding.git二利用

MoEE

allenai/OLMoE-1B-7B-0924,normalized:

False,torch_dtype:

MOEE(model_name_or_pathallenai/OLMoE-1B-7B-0924,

**kwargs)接着计算

torch.cuda.empty_cache()在计算嵌入时我们使用

BERTopic

CountVectorizer(stop_wordsenglish)

ctfidf_model

BERTopic(embedding_modelembedding_model,umap_modelumap_model,hdbscan_modelhdbscan_model,vectorizer_modelvectorizer_model,ctfidf_modelctfidf_model,representation_modelrepresentation_model

topics,

topic_model.fit_transform(docs,

个主题从随机抽取的样本来看能够很好地捕捉语义。

同时通过主题聚类可视化我们可以清晰地看到不同主题之间的关联如红色圆圈标记的主题

与计算机相关其附近的主题也与机械相关词汇如图形、数字、打印机等有关。

这种方法表明我们无需额外训练就能获得不错的嵌入效果。

尽管与当前最优的有监督模型相比在质量上还有提升空间但这一研究成果无疑为无训练的嵌入提取方法的进一步改进迈出了重要一步。

以上就是今天的全部内容如果您对人工智能技术感兴趣欢迎关注我们的公众号获取更多精彩内容

[参考文献]