03

RLHF

有多关键？｜造成了GPT和Claud不同的技术路线。

原创

Caroline

08:10

在小说阅读器中沉浸阅读

这一篇是整个系列里最关键的一篇之一，因为它回答的是：

style="background-color:#ff9900">为什么模型看起来像“有性格”？

/>

style="background-color:#ff9900">而且

GPT

的“性格”明显不同？

——从

style="background-color:#a2e043">Reward

style="background-color:#a2e043">在长期使用中，很多人都会形成一种直观印象：

• style="background-color:#a2e043">GPT

  />👉

  style="background-color:#ff9900">直接完成需求

• style="background-color:#ffd900">Claude

  />

  style="background-color:#ffd900">👉

  更爱解释

  更容易拒绝不确定或敏感请求

这种差异，

style="background-color:#ffd900">常常被描述为：

style="background-color:#ffd900">“GPT

更激进，Claude

更保守。

”

但问题是：

它们用的都是

Transformer，预训练数据也都来自互联网，

/>那这种“性格差异”是从哪里来的？

答案几乎全部集中在一个阶段：

/>RL

style="background-color:#a2e043">HF（Reinforcement

Learning

Feedback）

/>

style="background-color:#a2e043">以及更一般的：

/>

style="background-color:#a2e043">reward

设计（奖励函数设计）

style="background-color:#a2e043">。

/>

style="background-color:#a2e043">一、先说结论：“性格”不是自发产生的，而是被奖励出来的

可以先给出一个核心结论：

GPT

Claude

style="background-color:#a2e043">不是模型结构差异，

/>

style="background-color:#ffd900">在对齐阶段，被奖励了不同的行为模式。

style="background-color:#ffd900">如果用一句话概括：

style="background-color:#ffd900">GPT

/>

style="background-color:#ffd900">“尽量完成任务的助手”

/>Claude

style="background-color:#ffd900">量不犯错的助手”。

style="background-color:#ffd900">这不是道德差异，而是优化目标差异。

/>

二、RLHF

style="background-color:#ffd900">？不是教知识，而是教“怎么回答”

在预训练阶段，模型学的是：

/>

也就是：

学会

style="background-color:#ffd900">像人类文本一样说话。

但在

RLHF

阶段，目标函数变成：

/>

也就是说：

不再

style="background-color:#a2e043">是“像不像人类文本”，

/>

style="background-color:#a2e043">而是：

/>

style="background-color:#a2e043">哪种回答更受偏好。

这个偏好由：

• style="background-color:#ffd900">人类标注员

• style="background-color:#ffd900">或

  反馈模型

  style="background-color:#ffd900">来给出。

于是模型学到的不是事实本身，而是：

什么样的回答更容易得高分。

这一步，实际上在塑造：

• 语

  style="background-color:#ff9900">气

• style="background-color:#ff9900">风格

• style="background-color:#ff9900">是否拒绝

• style="background-color:#ff9900">是否解释

• style="background-color:#ff9900">是否保守

也就是我们感知到的“性格”。

/>

style="background-color:#ff9900">三、GPT

reward

设计：任务完成优先

style="background-color:#ff9900">从行为表现来看，可以推断

GPT

偏好大致是：

• style="background-color:#ff9900">更奖励：

  • 有用的结果

  • style="background-color:#ffd900">明确的结论

  • style="background-color:#ffd900">可执行的答案

• style="background-color:#ffd900">相对容忍：

  • style="background-color:#ffd900">推测性回答

  • style="background-color:#ffd900">在不确定情况下仍给方案

这会带来一种典型风格：

style="background-color:#a2e043">与其说“我不确定”，

/>

style="background-color:#a2e043">不如给一个可能可行的解法。

style="background-color:#a2e043">这就是为什么

GPT

更像：

• style="background-color:#a2e043">工具型助手

• style="background-color:#a2e043">工程型代理

• style="background-color:#a2e043">问题解决器

在

reward

的视角下：

GPT

在被训练时，

/>“完成任务”本身是高奖励行为。

/>

四、Claude

style="background-color:#a2e043">风险规避优先

style="background-color:#a2e043">相比之下，Claude

reward

设计明显更偏向：

• style="background-color:#a2e043">奖励：

  • style="background-color:#a2e043">安全

  • style="background-color:#a2e043">谨慎

  • style="background-color:#a2e043">解释充分

  • style="background-color:#a2e043">承认不确定性

• 强烈惩罚：

  • style="background-color:#ffd900">潜在有害内容

  • style="background-color:#ffd900">过度自信

  • style="background-color:#ffd900">误导性结论

这会导致一个必然结果：

在

style="background-color:#ffd900">模糊问题上，

/>

style="background-color:#ffd900">选择“拒绝或弱回答”

/>

style="background-color:#ffd900">比“给一个可能错的答案”

/>

style="background-color:#ffd900">更容易得高分。

style="background-color:#a2e043">于是你会感觉

Claude：

• style="background-color:#a2e043">更像学者

• style="background-color:#a2e043">更像审稿人

• style="background-color:#a2e043">更像伦理委员

这不是模型“胆小”，

/>而是：

它被

style="background-color:#ffd900">训练成：

/>

style="background-color:#ffd900">不犯错，比给答案更重要。