FT监督微调1.3

数据规模大概是44TB左右不大甚至一个大点的移动硬盘就可以装下。

1.1.2

文字编码的本质就是把字或字母转成一个有限表示的序列比如a-z可以用1-26来表示。

这个序列不希望太长要不然变相挤占了输入资源

1.1.2.1

67就把它合成为一个新编码符号比如301然后再看有没有新的编码对比如301

the

做完预训练的模型一般称为basebase一般不会被release出来。

如果想要prompt可以参考如下因为模型具有in-context

learning

cheaper.这个阶段要学会和人类互动也要拒绝不合理的要求比如如何黑进别人的电脑这个阶段不会也无法覆盖所有的可能的问题但是通过这种示例模型能够学到这样的统计学模式statistical

pattern从而在推理时遇到没被训练过的问题也能给予回答。

从LLM获得的回答其实是类似人类标注员的回答或者说LLM公司编写的回答规范的回答。

You

are

因为输入的是对话所以需要对对话进行处理增加虚拟独白部分分别在最前和最后而且要指明是user还是assistant。

在推理时输入到|im_start|assistant|im_sep|后面的由模型补充就得到了答案。

1.2

有一个智能家居系统其中的恒温器需要根据室内外温度、能源价格等因素来调整设置以达到舒适与节能的平衡。

这个恒温器就是我们的“智能体”它的目标是通过调节温度来最大化长期奖励比如节省能源费用和保持舒适。

场景设定

的作用就是帮助它在学习过程中逐步优化策略避免“走得太远”而犯错。

GRPO

group

一种用于大模型的策略优化算法通过分组比较动态调整学习策略使训练更高效和稳定。

因为之前是采用PPO算法PPO会直接冲着奖励最高的方向去学习无法平衡风险。

举个例子班级小组学习

给模型输入一段没见过的东西它会沿着继续预测下去本质上是在概率性的前提下进行最佳预测。

由于是概率性的所以在训练集的分布里并没有我不知道只有自信的回答所以面对及时不知道的事AI也会给出自信的编造。

Even

the

其中的奖励函数没有用人工的而是纯deterministic的。

A

rule-based