Pre-Training

模型结构是decoder-only的12层transformer

1、预训练过程窗口为k根据前k-1个token预测第k个token训练样本包括7000本书的内容

2、微调过程使用有标记的样本样本输入预训练模型使用最后一层transformer的输出接linearsoftmax层预测输出

损失函数如下

使用L1作为辅助优化目标有两点好处首先能够提高模型的泛化能力第二是能够加速收敛。

GPT系列演化参考文档简单之美

GPT-2在无监督预训练阶段学习了大量的自然语言文本在做下游任务时无需微调只需简单的Zero-shot

Learning

基于GPT-3进行微调三个阶段的微调方法和过程可以通过下图给出的步骤来简要说明

模型、RM

自回归语言模型即通过给定的文本序列预测下一个词的概率分布从而生成新的文本。

GPT-4

采用了大规模的无监督预训练和有监督微调的方法即先在海量的通用文本语料上进行预训练学习文本的通用特征和规律然后在特定的下游任务上进行微调学习任务的特定知识从而实现对任意文本的生成和理解。

OpenAI在技术报告中强调了GPT-4的安全开发重要性并应用了干预策略来缓解潜在问题如幻觉、隐私泄露等。