原来小丑是我。 最近，MIT有个研究说大模型可能真的能理解语言，不只是背数据。这个研究是Charles Jin和Martin Rinard做的， 他们用的是一个叫Karel的语言，就是教机器人在2D格子上走的那种语言。他们想看看大模型是不是真的懂这些代码的意思，还是只是记住了。

他们做了个实验，让大模型学Karel语言，然后看它能不能理解这些代码背后的意思。他们用了很多程序， 太治愈了。 大概50万个，每个程序有6到10个操作，然后用这些数据来训练模型。

他们把训练过程分成了三个阶段：

Babbling阶段

试试水。 这个阶段是训练的前50%。在这个时候，模型输出的程序特别简单，就是重复“pickMarker”9次。探测器的准确率也不稳定，说明这个时候模型还没学会啥是语义，就是瞎猜。

语法习得阶段

躺赢。 这个阶段是从训练的50%到75%。这个时候，模型开始能生成不一样的程序了说明它开始懂点语法了。但是它还不能准确地完成任务，就是能写程序了但写的不一定对。

再说说25%的训练过程，模型开始懂程序的意思了。准确率从25%左右一下子跳到90%以上，说明它真的开始懂语义了不只是记程序。

我们一起... 他们用了一个叫探测器的东西， 就是看模型在生成代码的时候，是不是真的理解了这些代码的意思。他们发现，如果探测器能从模型的隐藏状态里看出下一步要干嘛，那就说明模型真的懂了。比如 如果模型在t时刻生成了“move”，在t+1时刻生成“turnLeft”，那探测器能预测到t+1时刻机器人会朝西，那就说明模型在生成“turnLeft”之前，就已经知道要往左转了。

实验设计

他们用了一个叫Karel的语言，这个语言是教机器人在2D格子上走的。这个格子是8x8的，每个格子可以是障碍物、标记物或者空地。机器人可以在格子间移动，还能放/捡标记物。

Karel有5个基本操作：move、 turnLeft、turnRight、pickMarker、putMarker。程序就是这些操作的组合，准确地说...。

原来小丑是我。 他们还做了个实验，就是把语义解释规则改了看看模型还能不能理解。他们用了两种方法：flip和adversarial。flip就是把指令的意思强行反转，比如把“turnRight”变成“左转”。adversarial就是把所有指令的意思随机打乱。后来啊发现，不管用哪种方法，探测器的性能都下降了说明模型是真的理解了语义，不是瞎猜的。

研究发现

他们发现， 大模型在训练的时候，不只是记住了程序，而是真的理解了程序的意思。比如 如果探测器能从语言模型在t时刻的隐藏状态中，成功预测到t+1时刻机器人会面向西方， 太治愈了。 那就说明在生成“turnLeft”之前，隐藏状态就已经包含了这个操作带来的状态变化信息。

他们还发现， 中，可以访问每个样本中的输入输出信息和程序前缀，但看不到程序施行的完整轨迹和中间状态。每隔4000步，他们就记录一次三个特征，一边记下生成模型的隐藏状态，形成探测器的训练数据集。

讨论

这个研究还发现， 大模型可以自发模拟一些概念，比如方向、位置等，这样它就能理解这些概念了。比如 如果探测器能从语言模型在t时刻的隐藏状态中，成功预测到t+1时刻机器人会面向西方，那就说明在生成“turnLeft”之前，隐藏状态就已经包含了这个操作带来的状态变化信息。

参考链接

1.

2.