总参数的强大混合专家模型MoE该模型在DeepSeek-V2验证有效的核心架构基础上采用多头潜在注意力MLA机制和DeepSeekMoE架构显著提升推理效率并降低训练成本。

DeepSeek-V3创新性地引入无辅助损失的负载均衡策略并采用多标记预测训练目标以增强模型性能。

DeepSeek-V3

作为突破传统密集模型瓶颈的核心架构通过专家拆分、无辅助损失负载均衡等技术创新使国产大模型首次在参数效率、训练稳定性等维度超越国际竞品。

混合专家Mixture

MoE模型是一种利用多个不同的子模型或“专家”来提升大语言模型LLM质量的技术。

专家Experts

模型中的每个专家都是一个独立的神经网络专门处理输入数据的特定子集或特定任务。

例如在自然语言处理任务中一个专家可能专注于处理与语言语法相关的内容而另一个专家可能专注于语义理解。

路由或者门控网络Gating

门控网络的作用是决定每个输入样本应该由哪个专家或哪些专家来处理。

它根据输入样本的特征计算出每个专家的权重或重要性然后根据这些权重将输入样本分配给相应的专家。

门控网络通常是一个简单的神经网络其输出经过softmax激活函数处理以确保所有专家的权重之和为1。

“专家”并不是专门针对某个领域如“心理学”或“生物学”。

它只是语法层面的专家具体来说它们的专长是在特定的上下文中处理特定的标记。

LLM

Experts》中他们首次提出通过多个独立网络专家协同处理数据子集并引入门控网络动态分配任务。

这一架构突破性地解决了传统神经网络中不同任务间的干扰问题为后续研究奠定基础。

早期MoE模型虽受限于算力和数据规模但已展现出任务分治思想的潜力——通过专家网络专业化分工门控网络竞争性选择最优处理路径显著提升了模型学习效率。

关键突破稀疏计算与动态激活

2017年成为MoE发展的分水岭。

谷歌团队在《Sparsely-Gated

其一将稀疏门控机制引入LSTM网络仅激活2-4个专家处理每个token使模型参数量突破千亿级时仍保持高效推理

这两项突破使MoE在自然语言处理领域大放异彩Google的GShard项目更将MoE成功整合至Transformer架构为后续大模型时代铺平道路。

当代演进架构革新与国产突破

GPT-4的发布标志着MoE进入工业化应用阶段。

其采用8个220B参数的专家模块通过动态路由实现万亿级参数规模下的高效推理。

这种模型堆叠策略突破单一模型扩展瓶颈使推理成本降低至传统密集模型的1/8。

而国产DeepSeekMoE进一步加速了MoE领域的技术创新。

该架构通过三大技术创新实现跨越式发展

首创无辅助损失的负载均衡策略消除传统路由算法对平衡性约束的依赖

参数效率达到国际领先水平,6B模型以40%计算量实现LLaMA2

7B性能145B版本更以28.5%资源匹配67B密集模型表现。

DeepSeekMoE的成功实践证明通过专家专业化分工与智能路由机制的深度结合MoE正在重塑大模型的技术范式为通用人工智能时代的到来提供关键基础设施。

四、架构设计

为了探讨专家MoE中的E的代表意义和它们的工作方式我们首先需要了解

MoE

Layer是前馈神经网络FFNN中的全连接层每个神经元通过权重矩阵与前一层的所有输出相连利用激活函数实现特征的非线性组合用于学习输入数据的高阶抽象表示。

Transformer

中的前馈神经网络FFNN被称为密集模型因为所有参数权重和偏置都会被激活。

没有任何参数被遗漏所有参数都参与输出计算。

如果我们更仔细地观察这种密集模型可以发现输入会在某种程度上激活所有参数

稀疏层

与此相对稀疏模型仅激活一部分参数并且与混合专家MoE紧密相关。

可以将密集模型切割成多个部分所谓的专家重新训练它并且在给定时间内只激活一组专家

其底层思想是每个专家在训练过程中学习不同的信息。

然后在进行推理时仅使用与给定任务最相关的特定专家。

将专家视为密集模型中的隐藏层并将其切分成块它们通常本身就是完整的前馈神经网络FFNN

由于大多数

所选的专家很可能在标记之间有所不同这就导致了不同的“路径”被选择

FFNN每个专家一个

在专家之前添加了一个路由器也叫网关网络它经过训练来选择哪个专家适合给定的标记。

路由器

路由器或门控网络也是一种前馈神经网络FFNN它根据特定的输入来选择专家。

它输出概率并利用这些概率来选择最匹配的专家

MoE

模型中最重要的组成部分因为它不仅决定了在推理过程中选择哪些专家还决定了在训练过程中选择哪些专家。

然后我们对输出应用

最后我们将每个路由器的输出与每个选定的专家相乘并对结果进行求和。

4.3

混合专家模型MoE通过稀疏激活机制实现计算效率质的飞跃。

每个token仅激活2-4个专家总专家量可达数千避免传统密集模型的全参数计算。

例如DeepSeekMoE

简单的函数常常导致路由器会选择相同的专家因为某些专家可能比其他专家学习得更快

选择的专家分布不均会导致一些专家几乎不会被训练到这导致在训练和推理过程中都会出现问题。

因此希望在训练和推理过程中专家之间具有相等的重要性这就是我们所说的负载均衡。

从某种意义上说这是为了防止对同一专家的过拟合。

负责均衡KeepTopK

为了平衡专家的重要性我们需要关注路由器因为它是决定在特定时刻选择哪些专家的主要组成部分。

KeepTopK。

通过引入可训练的高斯噪声我们可以防止总是选择相同的专家

个专家例如

为了在训练期间获得更均匀的专家分布辅助损失也称为负载均衡损失被添加到网络的常规损失中。

这个辅助损失的第一个组成部分是对整个批次中每个专家的路由器值进行求和

这给出了每位专家的重要性分数表示无论如何输入某位专家被选择的可能性。

我们可以使用这个来计算变异系数CV它告诉我们不同专家之间的重要性分数差异有多大。

使用这个

MoE架构突破参数规模与计算资源的线性关系。

DeepSeekMoE

145B模型通过专家拆分策略在保持计算成本28.5%的情况下性能超越Google

专家并行将专家分布在不同计算节点

不成比例地分配给某个专家而忽视了其他专家那么也可能导致训练不足

token

同时预测当前token及后续n个token迫使专家学习长程依赖关系训练效率提升30%相同epoch数下困惑度降低18%

6.2

ms",verdana,arial,sans-serif;font-size:16px;fill:#333;}#mermaid-svg-VPzYmu5QahO9evJY

.error-icon{fill:#552222;}#mermaid-svg-VPzYmu5QahO9evJY

.error-text{fill:#552222;stroke:#552222;}#mermaid-svg-VPzYmu5QahO9evJY

.edge-thickness-normal{stroke-width:2px;}#mermaid-svg-VPzYmu5QahO9evJY

.edge-thickness-thick{stroke-width:3.5px;}#mermaid-svg-VPzYmu5QahO9evJY

.edge-pattern-solid{stroke-dasharray:0;}#mermaid-svg-VPzYmu5QahO9evJY

.edge-pattern-dashed{stroke-dasharray:3;}#mermaid-svg-VPzYmu5QahO9evJY

.edge-pattern-dotted{stroke-dasharray:2;}#mermaid-svg-VPzYmu5QahO9evJY

.marker{fill:#333333;stroke:#333333;}#mermaid-svg-VPzYmu5QahO9evJY

.marker.cross{stroke:#333333;}#mermaid-svg-VPzYmu5QahO9evJY

ms",verdana,arial,sans-serif;font-size:16px;}#mermaid-svg-VPzYmu5QahO9evJY

ms",verdana,arial,sans-serif;color:#333;}#mermaid-svg-VPzYmu5QahO9evJY

.cluster-label

text{fill:#333;}#mermaid-svg-VPzYmu5QahO9evJY

.cluster-label

span{color:#333;}#mermaid-svg-VPzYmu5QahO9evJY

.label

text,#mermaid-svg-VPzYmu5QahO9evJY

span{fill:#333;color:#333;}#mermaid-svg-VPzYmu5QahO9evJY

.node

rect,#mermaid-svg-VPzYmu5QahO9evJY

.node

circle,#mermaid-svg-VPzYmu5QahO9evJY

.node

ellipse,#mermaid-svg-VPzYmu5QahO9evJY

.node

polygon,#mermaid-svg-VPzYmu5QahO9evJY

.node

path{fill:#ECECFF;stroke:#9370DB;stroke-width:1px;}#mermaid-svg-VPzYmu5QahO9evJY

.node

.label{text-align:center;}#mermaid-svg-VPzYmu5QahO9evJY

.node.clickable{cursor:pointer;}#mermaid-svg-VPzYmu5QahO9evJY

.arrowheadPath{fill:#333333;}#mermaid-svg-VPzYmu5QahO9evJY

.edgePath

.path{stroke:#333333;stroke-width:2.0px;}#mermaid-svg-VPzYmu5QahO9evJY

.flowchart-link{stroke:#333333;fill:none;}#mermaid-svg-VPzYmu5QahO9evJY

.edgeLabel{background-color:#e8e8e8;text-align:center;}#mermaid-svg-VPzYmu5QahO9evJY

.edgeLabel

rect{opacity:0.5;background-color:#e8e8e8;fill:#e8e8e8;}#mermaid-svg-VPzYmu5QahO9evJY

.cluster

rect{fill:#ffffde;stroke:#aaaa33;stroke-width:1px;}#mermaid-svg-VPzYmu5QahO9evJY

.cluster

text{fill:#333;}#mermaid-svg-VPzYmu5QahO9evJY

.cluster

span{color:#333;}#mermaid-svg-VPzYmu5QahO9evJY

div.mermaidTooltip{position:absolute;text-align:center;max-width:200px;padding:2px;font-family:"trebuchet

ms",verdana,arial,sans-serif;font-size:12px;background:hsl(80,

100%,

#aaaa33;border-radius:2px;pointer-events:none;z-index:100;}#mermaid-svg-VPzYmu5QahO9evJY

:root{--mermaid-font-family:"trebuchet

输入数据

通信压缩采用1-bit梯度量化通信量减少83%流水线并行重叠计算与通信GPU利用率达92%检查点策略每30分钟自动保存恢复训练仅需2分钟

资源消耗

MoE架构通过计算稀疏化与参数专业化的双重革新正在重塑大模型技术路线。

DeepSeek系列实践证明国产模型在专家拆分策略如将单个专家拆分为两个子专家而不增加参数量、动态路由算法等领域已形成独特技术优势。

未来随着万亿级MoE模型的出现这种架构将成为突破算力瓶颈的核心解决方案。

【参考文献】

的作者你可以在《袋鼠书》中查看更多关于大语言模型可视化的内容。

英文版封面中文版封面

基础就可以通过本书学习大语言模型并将大语言模型的能力应用到真正的

本书将为

开发人员提供使用大模型的实用工具和概念帮助大家掌握实际应用场景。

你将学习如何利用预训练的大型语言模型进行文案撰写、文本摘要、语义搜索等任务构建超越关键词匹配的智能系统。