性能表现本文将探讨

的完整演进历程深入剖析了每个版本的技术创新还通过实际实验对比了

Llama

在推理速度、答案长度和相对答案质量RAQ等关键指标上的表现差异。

根据本文

激活函数和旋转式位置编码等改进提升了模型的训练稳定性和性能。

Llama

Llama

TikToken扩大了词汇表的数量同时将上下文长度翻倍并大幅增加了训练数据量。

Luís

年初的首度亮相为开源自然语言处理NLP社区带来了重大突破。

Meta

在这里我们需要区分“开放型open

传统上开源软件会在特定的公共许可证下公开源代码允许用户使用和修改。

在

LLM

则会更进一步在宽松的许可下共享整个训练过程包括训练数据。

目前包括

Meta

将这一机制扩展到了小模型同时引入了更高效的分词器还扩大了词汇量。

版本

3.1

并未对核心架构做出调整主要的变化在于训练数据的清洗、上下文长度的增加以及对更多语言的支持。

Llama

进行了比较使用了推理速度、答案长度和相对答案质量RAQRelative

Answer

子层的输入进行归一化的策略而不仅仅是对输出进行归一化处理具体细节如图

2原始

函数这一改变在保持训练稳定性和提升模型收敛速度的同时大幅提高了计算效率。

RMSNorm

invariance译者注指的是归一化过程能够适应输入数据的缩放使得网络对这种缩放不敏感。

而非

recentering

invariance译者注如果输入数据的均值发生了变化但数据的分布形状和范围保持不变那么具有

recentering

的算法或函数的输出应该不受影响。

。

基于这一发现他们省略了归一化过程中的均值计算使得算法更加简洁而效果不减且运算效率显著提升。

3层归一化LayerNorm与均方根归一化RMSNorm之间的方程差异图片由作者提供

SwiGLU

函数会将所有负数输入直接归零而正数输入则保持不变。

相比之下SwiGLU

ReLU这一点如图

架构本身不区分单词的顺序。

也就是说如果没有位置编码的辅助Transformer

Transformer

在论文[3]中提出了一种通过正弦和余弦函数实现的绝对位置编码Absolute

Positional

Embeddings。

序列中的每个位置都有其独特的编码positional

embedding它们与词向量相加从而确保即使单词相同不同顺序的句子也能表达不同的意思。

简单来说我们可以假设句子中的单词是用一维向量而不是多维向量来编码的。

如图

所示在词向量中“1”和“2”的表示值是相同的。

但是在加入了位置编码之后它们的表示值就变得不同了分别从0.88变为1.04以及从0.26变为0.1。

5绝对位置编码(Absolute

不区分顺序的问题但它生成的位置编码是相互独立的没有考虑到序列中单词之间的相对位置关系。

这意味着在模型看来位置

之间的相关性并无差异。

然而我们知道实际情况并非如此因为在位置上更接近的单词其相关性理论上应该更高。

旋转式位置编码[7]RoPE能够解决上述问题它通过将序列中的每个位置转换成词嵌入的旋转变量来模拟单词间的相对位置关系。

“Llama

Embedding将原始向量转换为新的向量。

这一转换是基于向量在序列中的位置例如m4和常数θ来进行的图片由作者提供

采用这种方式即便在原句中增加更多词汇单词之间的相对距离也能得到保持。

比如在句子

“The

中添加两个单词尽管“better”和“than”的位置从4和5变为6和7但由于旋转量保持一致两个向量之间的相似性即左图中向量的点积与右图中的点积相同依旧不变。

7旋转式位置编码维持

heads来大幅降低内存需求。

但这种做法可能会降低模型的质量并导致训练过程不稳定因此像

values分为

MQA所有查询queries都集中在一组而如果组数等于头数GQA-H则与

MHA

相当每个查询query自成一组。

这种方法减少了每个查询query组中的键和值头keys

and

values数量从而缩小了键值缓存的大小减少了需要加载的数据量。

与

MQA

相比这种更为温和的缩减方式在提升推理速度的同时也降低了解码过程中的内存需求且模型质量更接近

MHA速度几乎与

例如如果“generating”这个词已经在词汇表中了那么它将作为一个完整的

token

返回而不是将其拆分为“generating”和“ing”这两个最小单元的

tokens

模型在上下文长度、词汇表大小、训练数据集大小以及支持语言数量方面的演变。

Llama

许可协议的问答数据集https://huggingface.co/datasets/rajpurkar/squad。

该阅读理解数据集reading

comprehension

dataset由一系列维基百科文章的问题组成。

模型需要根据上下文检索出问题的正确答案。

对于本次模型比较数据集中有三个较为重要的字段

问题question——模型需要回答的问题。

上下文context——模型需要从中提取答案的背景信息。

答案answers——问题的文本答案。

评估过程将包括三个量化指标第一个是评估推理速度第二个是确定答案长度第三个是评估准确性。

RAQ

nous-hermes-Llama-2-7b.Q4_K_M.gguf来自

https://huggingface.co/TheBloke/Nous-Hermes-Llama-2-7B-GGUFMeta-Llama-3-8B-Instruct-Q4_K_M.gguf来自

https://huggingface.co/NousResearch/Meta-Llama-3-8B-Instruct-GGUF

在完成上述操作之后接下来我们会导入所有需要的库以及我们自定义的一个生成器。

这个生成器是一个函数或者类它能够接受我们想要使用的模型作为输入参数。

config.yaml

的提示词模板。

这个模板的作用是在将问题和相关上下文提交给大语言模型之前对它们进行格式化处理以便获得更准确的响应。

get_llm_response

负责接收已加载的大语言模型、相关上下文以及问题并输出模型的回答以及一系列量化评估指标。

Llama

则意味着模型之间的性能差异不具备统计显著性p值超过0.05。

根据检验结果Llama

Llama

最后从定性角度我们分析了两种模型对某一特定问题的回答“What

percentage

renovations?”。

这一问题基于以下上下文信息得出答案两者均正确地回答了问题。

然后如下所示Llama

在回答过程中先是表示答案不在给定上下文中但最终却又引用了上下文中的内容来给出答案显得前后矛盾。

而

Llama

模型在发展过程中不断进行改进使模型在处理语言任务时更加高效、表现更佳并且能够适应更广泛的应用场景。

从最初的

Llama

输入归一化和更平滑的激活函数等基础性改变后续的每个模型版本都是在此基础上进一步改进。

Llama

应用于更小型的模型采用了词汇表数量更大的高效分词器将上下文长度翻倍并大幅增加了训练数据量。

Llama

token增加了对更多语言的支持并推出了迄今为止最大的开放式模型

405B

模型的连续升级使得它们在各种应用场景中都具有卓越的适应性。

至今Llama

亿次而将其集成到利用私有

https://www.linkedin.com/in/luisbrasroque/

END

和高效分词器等。

你认为在这些优化中哪一项对模型性能提升最关键为什么

原文链接

https://towardsdatascience.com/***-evolution-of-llama-from-llama-1-to-llama-3-1-13c4ebe96258