。

作者在数万亿个令牌上训练模型#xff0c;并表明可以…开放和高效的基础语言模型

Paperhttps://arxiv.org/abs/2302.13971

Code:

https://github.com/facebookresearch/llama

65B

参数的基础语⾔模型的集合。

作者在数万亿个令牌上训练模型并表明可以仅使⽤公开可⽤的数据集来训练最先进的模型。

特别是

LLaMA-13B

整体架构仍然是Transformer的解码器模块该模块参考论文Attention

all

need。

下面是在Transformer架构上的进一步的3个改进。

使用RMSNorm即Root

Normalization对输入数据进行标准化RMSNorm可以参考论文Root

mean

\sum_{i1}^n\left(a_i-\mu\right)^2}

RMSNorm

\bar{a}_i\frac{a_i}{\operatorname{RMS}(\mathbf{a})}

g_i,

\operatorname{RMS}(\mathbf{a})\sqrt{\frac{1}{n}

\sum_{i1}^n

transformer。

作者用SwiGLU激活函数代替ReLU非线性以提高性能。

使用Rotary

Roformer:

embedding。

作者删除了绝对位置嵌入取而代之的是在网络的每一层添加了旋转位置嵌入

优化器

optimizer优化器该优化器可以参考论文Decoupled

weight

提高模型的训练速度。

该机制的实现借用了xformers库它的思路是不存储注意力权重不计算其中注意力得分。

手动实现了Transformer的激活函数而没有用pytorch库的autograd以得到更优的训练速度。

同时使用了并行化技术提高训练速度。

这两个改进点可以参考论文Reducing

activation

https://blog.csdn.net/a1920993165/article/details/130044242