。

本文详细的介绍了大语言模型的发展历程、构建过程和大语言模型如何使用等知识#xff0c;帮助大家搞懂大语言模型。

一、大语言模型发展历程

模型在全球范围内引起了巨大轰动。

本文详细的介绍了大语言模型的发展历程、构建过程和大语言模型如何使用等知识帮助大家搞懂大语言模型。

一、大语言模型发展历程

大模型技术并不是一蹴而就的大语言模型发展主要经历了统计语言模型、神经语言模型、预训练语言模型等多个发展阶段。

在介绍具体的发展阶段之前我们先来了解下什么是语言模型Language

Model,

日常生活中人与人之间主要通过语言进行表达和交流如果我们想要使用自然语言与计算机进行沟通并且让计算机拥有像人类一样的阅读、理解、交流和写作的能力应该如何实现呢语言模型就是实现机器智能的主要技术途径之一。

具体来说语言模型通过学习和分析人类语言使用的规律能够在给定的上下文中准确预测下一个词语序列出现的概率。

这种概率计算过程能够帮助计算机理解人类语言进而应用到文本生成、语音识别、机器翻译等多种任务场景中。

统计语言模型Statistical

年代。

统计语言模型使用马尔可夫假设来建立语言序列的预测模型通常是根据词序列中若干个连续的上下文单词来预测下一个词的出现概率从而实现对自然语言的理解和生成。

代表模型N-gram。

统计语言模型被广泛应用于信息检索和自然语言处理等领域主要用来解决以信息检索文本分类和语音识别为主的一些传统任务。

但是统计语言模型存在严重的数据稀疏问题在构建统计语言模型时由于训练数据中某些词或词组出现频率非常低或根本不出现导致这些词或词组的概率估计不准确甚至为零的问题。

神经语言模型Neural

神经语言模型使用神经网络学习自然语言的概率分布以预测下一个词的出现概率。

与传统的统计语言模型相比神经语言模型通过学习词嵌入能够更有效地捕捉词之间的语义和语法关系并且通过循环神经网络RNN、长短时记忆网络LSTM和门控循环单元GRU等技术使得模型能够更好地捕捉长距离依赖和上下文信息可以大范围扩展语言模型可应用的任务。

代表模型BNN-LMword2vec。

然而神经语言模型存在计算资源需求高、训练时间长、缺乏知识和可迁移性差等问题。

预训练语言模型Pre-trained

预训练语言模型是一种在大规模无标注文本数据上预先训练的深度学习模型能够理解和生成自然语言文本。

早期的预训练语言模型例如word2vec主要关注于学习词嵌入以捕捉词汇间的语义关系。

2017年谷歌提出了基于自注意力机制的

Transformer

为代表的预训练语言模型在训练架构与训练数据两个方面进行了改进与创新并确立了预训练-微调这一任务求解范式。

其中预训练阶段通过大规模无标注文本来建立模型的基础能力微调阶段则使用有标注数据对模型进行特定任务的适配从而更好地解决下游的自然语言处理任务。

预训练语言模型加强了语义表征的上下文感知能力并且可以通过下游任务进行微调能够有效提升下游任务的性能以及任务迁移能力。

但是预训练语言模型仍然存在着资源消耗大、需要监督数据微调伦理和偏见等问题。

Transformer

模型是由多层的多头自注意力模块堆叠而成的神经网络模型它是自然语言处理领域的一个里程碑式的创新。

Transformer

模型的核心创新在于引入了自注意力机制这一机制使得模型能够同时考虑输入序列中所有位置的上下文信息捕捉长距离依赖关系从而更好的理解和生成自然语言。

Transformer

模型由编码器和解码器两个部分构成编码器的作用是将每个输入词元都编码成一个上下文语义相关的表示向量解码器则基于来自编码器编码后的最后一层的输出表示以及已经由模型生成的词元序列执行后续的序列生成任务。

编码器和解码器也可以独立使用例如基于编码器架构的

BERT

模型解码器架构还可以细分为因果解码器和前缀解码器两个变种架构。

Transformer

进行加速训练这为研发大语言模型提供了可并行优化的神经网络架构当前主流的大语言模型都是基于

Transformer

经过规模扩展的预训练语言模型在解决复杂任务时表现出了与小型预训练语言模型不同的行为扩展法则同时展现出了一些小型预训练语言模型不具备的能力特点涌现能力为了区别这一能力上的差异学术界将这些大型预训练语言模型命名为大语言模型。

因此大语言模型可以理解为在海量无标注文本数据上进行预训练得到的大型预训练语言模型。

扩展法则通过规模扩展增加模型参数规模、数据规模、计算算力通常会带来下游任务的模型性能提升这种通过扩展带来的性能提升通常显著高于通过改进架构、算法等方面所带来的改进这种现象称为扩展法则。

涌现能力

大模型具有但小模型不具有的能力通常被称为涌现能力。

大语言模型典型的涌现能力有上下文学习、指令遵循和逐步推理。

上下文学习能力指大语言模型能够识别、理解和利用文本中前后文信息进而能够使用少样本数据解决下游任务。

指令遵循能力指大语言模型能够按照自然语言指令来执行对应的任务。

逐步推理能力指大语言模型可以利用思维链提示策略加强推理性能具体来说大语言模型可以在提示中引入任务相关的中间推理步骤来加强复杂任务的求解从而获得更为可靠的答案。

大语言模型的训练过程可以分为预训练和指令微调与人类对齐两个阶段。

预训练是指在一个大规模、无监督的文本数据集上预先训练模型的过程是研发大语言模型的第一个训练阶段通过在大规模数据上进行预训练大语言模型可以掌握较为广泛的世界知识获得通用的语言理解与生成能力以及解决众多下游任务的潜力。

但是由于预训练任务形式有限经过预训练后的大语言模型更擅长于文本补全并不适合直接解决具体的任务为了增强模型的任务解决能力大语言模型在预训练之后需要进行适应性微调通常涉及两个主要步骤即指令微调也称为有监督微调和对齐微调。

经历上述两个过程后大语言模型就能够具备较好的人机交互能力通过问答形式解决人类所提出的问题。

预训练

预训练大语言模型需要准备大规模文本数据并且进行严格的数据清洗去除掉可能包含有毒有害的内容最后将清洗后的数据进行词元化流并且切分成批次用于大语言模型的预训练。

准备数据

大语言模型的能力基础主要来源于预训练数据收集高质量、多领域、多源化的训练数据可以帮助大语言模型更加全面地学习真实世界的语言与知识从而提高其通用性和准确性。

数据来源

网页网页中包含了丰富多样的文本内容可以为大语言模型提供丰富的世界知识是目前大语言模型训练语料中最主要的数据来源。

使用大规模网页文本数据进行预训练有助于大语言模型获取多样化的语言知识并增强其自然语言理解和生成的能力。

常用的网页数据集有C4、RefinedWeb、CC-Stories。

书籍书籍中的文本内容较为正式与详实使用书籍数据进行预训练能够帮助模型积累丰富的语言知识理解语言的内在逻辑与表达习惯提高模型捕捉文本长程依赖关系的能力。

常用的书籍数据集有BookCorpus、Project

Gutenberg、arXiv

代码代码数据可以增强模型结构化语义理解与逻辑推理能力以及生成编程语言的能力。

同时代码中的函数调用关系还有助于增强模型的工具使用与学习能力。

常用代码数据集有BigQuery、The

多语文本多语言文本数据可以增强模型的多语理解与生成能力支持跨语言理解与对话任务。

多语言数据还能有效增加数据的多样性有助于提升模型的综合性能。

数据预处理

收集了丰富的文本数据之后为了确保数据的质量和效用还需要对数据进行预处理从而消除低质量、冗余、无关和有害的数据。

质量过滤的目的是为了去除原始数据集中的错误、不完整或无关的信息提高数据的整体质量。

目前主要有两种数据清洗方法基于启发式规则的方法和基于分类器的方法。

基于启发式规则的方法通过精心设计的规则来针对地识别和剔除低质量的文本数据不同类型的文本数据往往需要设计不同的清洗规则。

常见的过滤策略有语种过滤、统计过滤和关键词过滤。

基于语种的过滤过滤掉其他语言的文本数据用于训练特定语言的大语言模型。

基于简单统计指标的过滤通过分析语料中标点符号分布、符号与单词比率、句子长度等特征构建相应的规则或阙值来衡量文本质量从而过滤低质量的数据。

基于关键词的过滤基于要过滤的文本构建关键词集合然后结合关键词集合对语料中的重复文本或者一些具有攻击性、冒犯性的文本信息进行扫描过滤。

基于分类器的方法训练用于识别数据质量的文本分类器然后利用这个训练好的文本分类器进行预训练语料的清洗。

总的来说两种方法各有优劣基于启发式规则的方法过滤效率高计算资源消耗较低。

基于分类器的方法过滤精确度高需要消耗更多的计算资源。

为了平衡过滤的效率与准确性可以针对具体的数据集合灵活组合过滤策略。

例如可以先使用启发式规则对数据集进行初步筛选排除不符合要求的数据然后再采用分类器方法进一步精细过滤确保最终筛选出的语料具有较好的文本质量。

敏感内容过滤的目的是为了去除数据集中包含的非法、有毒或隐私内容的信息。

如果预训练数据中包含有毒内容模型则可能会产生侮辱性、攻击性或其他有害的输出。

过滤有毒内容可以使用基于分类器的过滤方法精确过滤含有有毒内容的文本。

如果训练数据中包含隐私内容模型在输出中可能会泄露个人信息邮箱地址、IP地址、电话号码等。

过滤隐私内容可以使用关键字识别的启发式规则过滤方法检测和删除数据集中的隐私内容。

数据去重

由于大语言模型具有强大的参数量和学习记忆能力很容易习得训练数据中的重复模式从而引发模型训练过程不稳定甚至崩溃的问题同时也使得模型可能在生成结果时频繁输出重复数据影响模型的性能。

一般来说可以在句子级别、文档级别和数据集级别等多种粒度上对数据集进行去重。

句子级别上可以删除包含重复单词和短语的低质量句子。

文档级别上可以通过相关算法计算出文档的重叠比率进而检测和删除包含相似内容的重复文档。

数据集级别上通常采用多阶段、多粒度的方式来实现高效的去重首先针对数据集在文档级别进行去重然后可以进一步在句子级别实现更为精细的去重。

词元化分词

词元化是数据预处理中的一个关键步骤目的是将文本数据切分成小的、有意义的、模型可识别的单元词元作为大语言模型的输入数据。

主要有三种词元化方法BPE

分词、WordPiece

分词。

对于大语言模型而言选择合适的词元化方法能够显著影响模型的训练效率和最终性能。

同时针对大语言模型的某些特定能力可以专门设计和训练定制化的分词器。

数据调度

完成数据预处理之后需要设计合适的调度策略来安排这些多来源的数据进而用于训练大语言模型。

数据调度主要关注两个方面各个数据源的混合比例数据混合和各数据源用于训练的顺序数据课程。

数据混合不同数据源与大语言模型学习具备的能力具有紧密的联系在预训练期间将根据设置的数据混合比例从不同数据源中采样数据数据源的权重越大从中选择的数据就越多。

数据课程按照特定的顺序安排预训练数据进行模型的训练。

例如从简单/通用的数据开始逐渐引入更具挑战性/专业化的数据。

准备预训练

模型的预训练过程涉及到大量需要深入探索的经验性技术需要考虑各种实施细节那么该如何进行大语言模型的预训练呢

预训练任务

在进行模型的大规模预训练时需要设计合适的自监督预训练任务使得模型能够从海量无标注数据中学习到广泛的语义知识与世界知识。

目前常用的预训练任务主要分为三类语言建模、去噪自编码和混合去噪器。

语言建模任务是目前大部分大语言模型广泛采用的预训练任务经常被应用于训练基于解码器的大语言模型。

该任务的目标是估计给定文本序列中下一个词或词元的概率。

去噪自编码是另一种常见的语言模型预训练任务该任务的核心在于在输入数据中引入“噪声”然后让模型学习恢复原始数据。

与语言建模相比去噪自编码任务的实现更为复杂目前完全使用去噪自编码进行预训练的大语言模型还较为有限。

混合去噪器任务是结合了上述两种方法的变体它将语言建模和去噪自编码的目标均视为不同类型的去噪任务进而对预训练任务进行统一建模来增强模型的理解和生成能力。

训练优化设置

选择合适的训练优化设置可以稳定模型的训练过程提高模型预训练的稳定性和吞吐量。

常用的模型训练优化设置有动态调整训练批次大小策略、学习率调整策略、优化器选择和稳定优化技术梯度裁剪、训练恢复等等。

高效训练技术

随着模型参数规模与数据规模的不断扩展高效的模型训练技术对于提高大语言模型的训练效率、降低资源消耗以及提高模型质量至关重要。

常见的高效训练技术有

综合运用这些策略不仅可以提高模型训练的稳定性和效率缩短训练周期还能在资源有限的情况下训练出更大、更复杂的模型进而提升最终模型的性能。

指令微调

指令微调是指使用自然语言形式的数据对预训练后的大语言模型进行参数微调它是增强和激活大语言模型特定能力的重要方法之一。

通过使用任务输入与输出的配对数据进行模型训练可以使语言模型掌握通过问答形式进行任务求解的能力和较强的指令遵循能力并且能够无需下游任务的训练样本或者示例就可以解决训练中未见过的任务。

构建指令数据

构建格式化指令数据是强化大语言模型特定功能的关键步骤一个经过格式化的指令数据通常包括任务描述也称为指令、任务输入-任务输出以及可选的示例。

目前主要有三种构建格式化指令数据的方法基于现有的自然语言处理任务数据集构建、基于日常对话数据构建和基于合成数据构建。

基于现有的自然语言处理任务数据集构建在开源的自然语言处理任务数据集合上为数据添加人工编写的任务描述信息扩充原始的任务数据集从而得到可以用于指令微调的自然语言处理任务数据集。

经过自然语言处理指令数据微调后大语言模型可以学习到指令遵循的能力进而能够解决其他未见过的自然语言处理任务。

常用的自然语言处理任务数据集P3、FLAN。

基于日常对话数据构建将用户在日常对话中的实际需求作为任务描述例如用户提交给

OpenAI

的查询和由人类标注员回答或者语言模型所生成的输出进行配对构建指令数据。

大语言模型能够从这些源自于真实应用场景、采用自然语言形式进行表达的任务描述中学习到指令遵循的能力常用的日常对话数据集ShareGPT、OpenAssistant、Dolly。

基于合成数据构建借助已有的高质量指令数据作为上下文学习示例输入到大语言模型然后运用自然语言处理技术生成新的、多样化的任务描述及对应的输入-输出数据。

常用的合成数据集Self-Instruct-52K、Alpaca-52K。

优化设置和数据组织策略

并行训练都与预训练阶段保持一致可以完全沿用。

除了这些优化参数的设置指令微调过程中还需要考虑一定的数据组织形式

从而使得模型获得更好的微调效果一般有三种常用的数据组织策略平衡数据分布、多阶段指令数据微调和结合预训练数据与指令微调数据。

高效模型微调

进行全参数微调需要消耗较多的算力资源在资源有限或追求效率的情况下可以进行参数高效微调也称为轻量化微调。

参数高效微调可以减少需要训练的模型参数量同时保证微调后的模型性能能够与全量微调的表现相媲美。

低稚适配LoRA微调方法在预训练模型的参数矩阵上添加低秩分解矩阵来近似每层的参数更新从而减少适配下游任务所需要训练的参数与全参数微调相比LoRA

人类对齐

经过大规模的预训练和有监督指令微调大语言模型已经具备了解决各种任务的通用能力和指令遵循能力但是还需要将大语言模型与人类的期望、需求以及价值观对齐防止模型生成有偏见的、虚假的以及事实错误的文本内容。

现有的对齐目标一般聚焦于三个方面有用性大语言模型应能够提供有用的信息正确理解上下文准确完成任务、诚实性模型的输出应具备真实性和客观性不应夸大或歪曲事实避免产生误导性陈述和无害性大语言模型应避免生成可能引发潜在负面影响或危害的内容。

由于对齐标准难以通过形式化的优化目标进行建模因此研究人员提出了基于人类反馈的强化学习对大语言模型的行为进行指导。

RLHF

使用收集到的人类反馈数据来指导大语言模型进行微调从而使大语言模型在多个标准上实现与人类对齐当前RLHF

RLHF

基于人类反馈数据学习的奖励模型以及用于训练大语言模型的强化学习算法。

RLHF

首先需要收集人类对于不同模型输出的偏好然后使用收集到的人类反馈数据训练奖励模型

三、大语言模型使用

由于大模型的参数量巨大在解码大语言模型针对输入内容逐个单词生成输出内容这个过程称为解码阶段需要占用大量的显存资源因此在实际应用中的部署代价非常高。

为了能够在资源有限的环境中使用大语言模型通过使用模型压缩方法能够显著减少大语言模型的显存资源占用和解码延迟。

下面介绍三种常见的模型压缩方法模型量化、模型蒸馏和模型剪枝。

模型量化量化通常是指从浮点数到整数的映射过程。

模型量化方法主要分为两大类即量化感知训练和训练后量化训练后量化方法会消耗更少的算力在实践中应用更为广泛。

目前比较常用的是

比特整数量化即

模型蒸馏将大型、复杂的模型称为教师模型迁移到小型、简单的模型称为学生模型上从而实现复杂模型的压缩同时尽量保持教师模型的性能。

一般来说通常会使用教师模型的输出传递模型知识来训练学生模型。

模型剪枝在尽可能不损失模型性能的情况下减少模型的参数数量从而降低模型的显存需求以及算力开销。

提示学习

如何有效地使用大语言模型解决实际任务目前常用的方法是设计合适的提示Prompt通过自然语言接口与大语言模型进行交互。

基础提示

针对特定任务设计合适的任务提示这一过程被称为“提示工程”设计合适的任务提示需要考虑四个关键要素即任务描述、

任务描述指示了大语言模型应当遵循的具体指令一个明确的任务描述应该简洁明了直接告诉模型做什么。

输入数据指用户可以直接使用自然语言描述输入数据的内容以便模型可以直接处理。

上下文信息指针对某些特定任务能够以上下文信息的形式引入外部信息作为大语言模型的输入使模型能够做出更加精准和符合情境的响应。

提示策略指如何组织上述元素来构建最终的提示以最优方式激发模型的潜能。

上下文学习

上下文学习ICL使用任务描述与示例所组成的自然语言文本作为提示能够引导大语言模型更好地解决未见过的任务。

目前上下文学习已经成为使用大语言模型解决下游任务的一种主流途径。

思维链提示

三元组来构造提示进一步融合了中间的推理步骤加入到提示中指导模型解决复杂的推理任务。

智能体

智能体Agent是一个具备环境感知、决策制定及动作执行能力的自主算法系统包含三个基本组件记忆组件、规划组件和执行组件通过这些组件共同协作智能体能够有效地感知环境、制定决策并执行规划的动作进而完成相应任务。

记忆组件用于存储智能体与环境的历史交互记录这些信息可以是文本、图像、声音等多种形式记忆功能使得智能体能够基于过往经验优化未来的决策实现所谓的“学习”效果。

规划组件负责基于当前目标和记忆中的信息同时生成多个候选方案并从中选择一个最佳方案用于执行。

这种方法有助于提高问题解决的效率和效果提高智能体对复杂环境的适应性和操作的可靠性。

执行组件负责执行由规划组件制定的任务解决方案。

通过设置执行组件智能体可以与外界环境进行交互并获得实际的执行效果反馈。

虽然大语言模型智能体在自主解决复杂任务方面展现出了巨大的潜力但是它们在实际应用中仍然面临着诸如计算资源耗费大、复杂工具使用难、真实世界使用差异等许多技术挑战。

非常感谢

作为一名热心肠的互联网老兵我意识到有很多经验和知识值得分享给大家也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑所以在工作繁忙的情况下还是坚持各种整理和分享。

但苦于知识传播途径有限很多互联网行业朋友无法获得正确的资料得到学习提升故此将并将重要的

AI大模型资料

包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

一、全套AGI大模型学习路线

这套包含640份报告的合集涵盖了AI大模型的理论研究、技术实现、行业应用等多个方面。

无论您是科研人员、工程师还是对AI大模型感兴趣的爱好者这套报告合集都将为您提供宝贵的信息和启示。

三、AI大模型经典PDF籍

随着人工智能技术的飞速发展AI大模型已经成为了当今科技领域的一大热点。

这些大型预训练模型如GPT-3、BERT、XLNet等以其强大的语言理解和生成能力正在改变我们对人工智能的认识。

四、AI大模型商业化落地方案

目标掌握多种AI大模型的私有化部署包括多模态和特定领域模型。

内容

L4.1

阶段11-2个月建立AI大模型的基础知识体系。

阶段22-3个月专注于API应用开发能力的提升。

阶段33-4个月深入实践AI大模型的应用架构和私有化部署。

阶段44-5个月专注于高级模型的应用和部署。

LLM

学习资料已经上传CSDN朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】