提示学习3.2

2022年11月30日ChatGPT模型问世后立刻在全球范围内掀起了轩然大波。

无论AI从业者还是非从业者都在热议ChatGPT极具冲击力的交互体验和惊人的生成内容。

这使得广大群众重新认识到人工智能的潜力和价值。

对于AI从业者来说ChatGPT模型成为一种思路的扩充大模型不再是刷榜的玩具所有人都认识到高质量数据的重要性并坚信“有多少人工就会有多少智能”。

ChatGPT模型效果过于优秀在许多任务上即使是零样本或少样本数据也可以达到SOTA效果使得很多人转向大模型的研究。

不仅Google提出了对标ChatGPT的Bard模型国内涌现出了许多中文大模型如百度的“文心一言”、阿里的“通义千问”、商汤的“日日新”、知乎的“知海图AI”、清华智谱的“ChatGLM”、复旦的“MOSS”、Meta的“Llama1Llama2”等等。

Alpaca模型问世之后证明了70亿参数量的模型虽然达不到ChatGPT的效果但已经极大程度上降低了大模型的算力成本使得普通用户和一般企业也可以使用大模型。

之前一直强调的数据问题可以通过GPT-3.5或GPT-4接口来获取数据并且数据质量也相当高。

如果只需要基本的效果模型数据是否再次精标已经不是那么重要了当然要获得更好的效果则需要更精准的数据。

1.Tansformer架构模型

预训练语言模型的本质是通过从海量数据中学到语言的通用表达使得在下游子任务中可以获得更优异的结果。

随着模型参数不断增加很多预训练语言模型又被称为大型语言模型Large

Language

ModelLLM。

不同人对于“大”的定义不同很难说多少参数量的模型是大型语言模型通常并不强行区分预训练语言模型和大型语言模型之间的差别。

预训练语言模型根据底层模型网络结构一般分为仅Encoder架构模型、仅Decoder架构模型和Encoder-Decoder架构模型。

其中仅Encoder架构模型包括但不限于BERT、RoBerta、Ernie、SpanBert、AlBert等仅Decoder架构模型包括但不限于GPT、CPM、PaLM、OPT、Bloom、Llama等Encoder-Decoder架构模型包括但不限于Mass、Bart、T5等。

2.ChatGPT原理

ChatGPT训练的整体流程主要分为3个阶段预训练与提示学习阶段结果评价与奖励建模阶段以及强化学习自我进化阶段3个阶段分工明确实现了模型从模仿期、管教期、自主期的阶段转变。

在第一阶段的模仿期模型将重点放在学习各项指令型任务中这个阶段的模型没有自我判别意识更多的是模仿人工行为的过程通过不断学习人类标注结果让其行为本身具有一定的智能型。

然而仅仅是模仿往往会让机器的学习行为变成邯郸学步。

在第二阶段的管教期优化内容发生了方向性转变将重点从教育机器答案内容改变为教育机器答案的好坏。

如果第一阶段重点希望机器利用输入X模仿学习输出Y’并力求让Y’与原先标注的Y保持一致。

那么在第二阶段重点则希望多个模型在针对X输出多个结果Y1,Y2,Y3,Y4时可以自行判断多个结果的优劣情况。

当模型具备一定的判断能力时认为该模型已经完成第二阶段的学习可以进入第三阶段——自主期。

在自主期的模型需要通过左右互博的方式完成自我进化即一方面自动生成多个输出结果另一方面判断不同结果的优劣程度并基于不同输出的效果模型差异评估优化改进自动生成过程的模型参数进而完成模型的自我强化学习。

总结来说也可以将ChatGPT的3个阶段比喻为人成长的3个阶段模仿期的目的是“知天理”管教期的目的是“辨是非”自主期的目的是“格万物”。

ChatGPT模型发布后因其流畅的对话表达、极强的上下文存储、丰富的知识创作及其全面解决问题的能力而风靡全球刷新了大众对人工智能的认知。

提示学习Prompt

Learning、思维链Chain

ThoughtCoT等概念也随之进入大众视野。

市面上甚至出现了提示工程师这个职业专门为指定任务编写提示模板。

提示学习被广大学者认为是自然语言处理在特征工程、深度学习、预训练微调之后的第四范式。

随着语言模型的参数不断增加模型也涌现了上下文学习、思维链等能力在不训练语言模型参数的前提下仅通过几个演示示例就可以在很多自然语言处理任务上取得较好的成绩。

3.1

提示学习是在原始输入文本上附加额外的提示Prompt信息作为新的输入将下游的预测任务转化为语言模型任务并将语言模型的预测结果转化为原本下游任务的预测结果。

以情感分析任务为例原始任务是根据给定输入文本“我爱中国”判断该段文本的情感极性。

提示学习则是在原始输入文本“我爱中国”上增加额外的提示模板例如“这句话的情感为{mask}。

”得到新的输入文本“我爱中国。

这句话的情感为{mask}。

”然后利用语言模型的掩码语言模型任务针对{mask}标记进行预测再将其预测出的Token映射到情感极性标签上最终实现情感极性预测。

3.2

上下文学习可以看作提示学习的一种特殊情况即演示示例看作提示学习中人工编写提示模板离散型提示模板的一部分并且不进行模型参数的更新。

上下文学习的核心思想是通过类比来学习。

对于一个情感分类任务来说首先从已存在的情感分析样本库中抽取出部分演示示例包含一些正向或负向的情感文本及对应标签然后将其演示示例与待分析的情感文本进行拼接送入到大型语言模型中最终通过对演示示例的学习类比得出文本的情感极性。

这种学习方法也更加贴近人类学习后进行决策过程通过观察别人对某些事件的处理方法当自己遇到相同或类似事件时可以轻松地并很好地解决。

3.3

大型语言模型横行的时代它彻底改变了自然语言处理的模式。

随着模型参数的增加例如情感分析、主题分类等系统-1任务人类可以快速直观地完成的任务即使是在少样本和零样本条件下均可以获得较好的效果。

但对于系统-2任务人类需要缓慢而深思熟虑的思考才能完成的任务例如逻辑推理、数学推理和常识推理等任务即使模型参数增加到数千亿时效果也并不理想也就是简单地增加模型参数量并不能带来实质性的性能提升。

thoughtCoT的概念来提高大型语言模型执行各种推理任务的能力。

思维链本质上是一种离散式提示模板主旨是通过提示模板使得大型语言模型可以模仿人类思考的过程给出逐步的推理依据来推导出最终的答案而每一步的推理依据组成的句子集合就是思维链的内容。

思维链其实是帮助大型语言模型将一个多步问题分解为多个可以被单独解答的中间步骤而不是在一次向前传递中解决整个多跳问题。

4.行业参考建议

与其他领域不同AIGC领域是当前变化最迅速的领域之一。

以2023年3月13日至2023年3月19日这一周为例我们经历了清华发布ChatGLM

6B开源模型、openAI将GPT4接口发布、百度文心一言举办发布会、微软推出Office同ChatGPT相结合的全新产品Copilot等一系列重大事件。

这些事件都会影响行业研究方向并引发更多思考例如下一步技术路线是基于开源模型还是从头预训练新模型参数量应该设计多少Copilot已经做好办公插件AIGC的应用开发者如何应对

即便如此仍建议从业者拥抱变化快速调整策略借助前沿资源以加速实现自身任务。

4.2

一定要明确自身细分赛道的目标例如是做应用层还是底座优化层是做C端市场还是B端市场是做行业垂类应用还是通用工具软件。

千万不要好高骛远把握住风口“切准蛋糕”。

4.3

AIGC最大的问题在于输出的不可控性如果无法解决这个问题它的发展将面临很大的瓶颈无法在B端和C端市场广泛使用。

在产品设计过程中需要关注如何融合规则引擎、强化奖惩机制以及适当的人工介入。

从业者应重点关注AIGC生成内容所涉及的版权、道德和法律风险。

4.4

经验沉淀的目的是为了建立自身的壁垒。

不要将所有的希望寄托于单个模型上例如我们曾经将产品设计成纯文本格式以便同ChatGPT无缝结合但最新的GPT4已经支持多模态输入。

我们不应气馁而是要快速拥抱变化并利用之前积累的经验数据维度、Prompt维度、交互设计维度快速完成产品升级以更好地应对全新的场景和交互形态。

最后给大家推荐一本很不错的书籍——《ChatGPT原理与实战》