LMs是否真正具备推理能力这一前沿科学问题作者的核心观点是LLMs

首先作者指出尽管大语言模型在各类推理能力基准测试中表现出色但其性能实际上高度依赖于训练数据中的模式识别而非真正的逻辑推理。

其次文章质疑了目前广泛使用的思维链Chain-of-Thought提示词技术。

再者通过对数学推理的深入分析作者指出

LLMs

实际上并不理解数学概念而是在寻找和匹配模式。

即便在复杂的数学问题中模型也常常表现出对无关信息的过度敏感性。

本文作者并未贬低大语言模型的价值而是客观地将其定位为拥有非凡记忆能力的系统期待未来能够开发出真正具备推理能力的人工智能架构。

Salvatore

推理能够引导出结论但这些结论是否确凿还需通过经验的验证才能确定。

—

罗杰·培根

大语言模型LLMs[1]展现出的性能惊人特别是在自然语言处理[2]的传统领域比如回答问题方面表现突出。

更令人惊讶的是它们在那些需要逻辑推理的复杂任务如编程和数学问题解决上也取得了进步。

长期以来这些能力一直被认为是人类独有的。

因此当人们提出大语言模型LLMs能够解决那些需要推理的任务时这个观点引发了激烈的讨论。

大语言模型LLMs真的能够进行推理吗还是它们仅仅是比较高级的模式匹配器pattern

matchers

推理能力对于人工智能系统与人类的有效互动以及在执行关键任务时的应用具有决定性意义。

这种能力要求系统能够逻辑性地推理reason

inference、解决问题并基于现有信息作出决策。

在科学探索、医疗健康、金融领域以及教育行业中能够为我们提供实质性帮助的模型同样需要具备这些技能。

OpenAI

的发布人们对使用思维链COT训练模型来提高推理能力产生了浓厚的兴趣。

经过这种训练的大语言模型LLMs所取得的成果让一些公司宣称现在的

LLMs

因此当前的我们正处于一场深刻的大辩论之中一方面有公司和研究人员坚称这些模型已经拥有了推理能力[4]而另一方面也有人将

LLMs

何谓推理大语言模型LLMs是否具备真正的推理能力还是仅仅在做鹦鹉学舌我们对于推理能力的评估方法是否准确无误

何谓推理reasoning

推理是根据现有信息、逻辑和分析内容得出结论或做出决定的基本认知过程。

根据亚里士多德的观点推理可分为两种类型

演绎推理Deductive

传统观念认为推理是人类独有的能力。

但现在我们发现灵长类、章鱼甚至鸟类也展现出了一定的推理能力它们能够进行决策和解决问题。

一般来说推理被视为解决复杂问题或做出明智选择的过程。

这要求识别问题、将其拆分为小问题、发现其中的规律然后选择最佳解决方案。

决策过程也相似需要识别问题、寻找规律并在做出选择前对备选方案进行评估。

LLM

Hellaswag[7]大语言模型LLMs的表现甚至超越了人类。

有人据此认为LLMs

LLMs

在所有针对推理能力评估设计的基准测试中都表现出了推理能力。

随着模型参数、token

LLMs

的支持者会回应说“看看推理能力基准测试[8]的结果。

”这就像是“鸭子测试duck

test”如果它能像人一样解决问题做出决策甚至在推理能力基准测试中胜出那么它很可能就具有人类拥有的推理能力。

然而也有学者对此表示怀疑1。

模型看似能够进行复杂的推理但实际上它们依赖的是概率模式匹配而非严谨的形式推理formal

模型对特定

的过度依赖表明它更多的是在利用输入数据的表面特征而非深入理解背后推理任务的本质。

——

source[9]

在遇到与训练过程中所见模式不同的新案例时缺乏泛化能力。

一旦改变例子中的

tokens就会导致逻辑错误因为模型无法将新例子与训练数据中的模式相对应。

因此模型对于测试案例极为敏感容易受其影响这也解释了为何模型有时看似推理能力惊人有时却会以失败告终。

LLM

tokens并将它们与训练集中的内容相匹配。

这一点通过训练数据中例子的出现频率与测试表现之间的相关性得到了验证8。

GPT-4o

生成仅供参考通过将‘马’改为‘兔子’来演示这一概念这与问题的基本逻辑无关。

下面两幅子图显示的是

GPT-4

的实验结果其中动物名称和数量的扰动导致性能显著下降”。

图片来源https://arxiv.org/pdf/2406.11050

这种现象被称为“提示词敏感性”即模型对于语义上等价的不同提示词会有不同的反应11-12。

这意味着模型对于与训练文本更为贴近的提示词会有更好的响应。

大语言模型Large

ModelsLLM同样对噪声敏感2。

实际上这些模型很容易受到无关上下文的影响导致其在进行推理时的表现大打折扣。

此外即便是那些专门用于提升推理能力的提示词技巧[10]也无法完全消除噪声的影响。

这表明噪声对模型记忆中模式识别能力的干扰是显著的。

2.2

许多人认为智力是随着生物系统自然趋向于复杂化和能力提升而逐渐涌现的[11]。

如果生物不能适应这种变化就会在进化压力下被淘汰。

因此进化过程会导致生物变得越来越聪明或越来越特化。

智力就是在这样的压力下逐步进化而来的。

智力的发展显然需要资源因此大脑发展到了支持智力发展的水平。

有些人认为在模式训练pattern

training

function中的损失函数就如同一种进化压力。

因此一旦模型拥有了足够的“神经元”它们就能够发展出推理能力用专业术语来说就是随着模型规模的扩大推理能力逐渐显现。

如前所述这种推理能力的增强被认为是模型规模增加的结果无论是参数的数量还是训练

tokens

的数量。

但是在一些学者看来推理能力是一种需要达到一定参数阈值才能显现的涌现属性。

然而后续的研究表明大语言模型Large

Language

ModelsLLMs中的涌现属性[12]可能是一种测量误差因此整个理论就与推理能力的突然出现3,

2.3

ModelsLLMs本身具备推理能力但这种能力需要通过特定方式来激活。

思维链Chain-of-thoughtCoT提示词就是这样一种方法它通过中间推理过程帮助模型释放其潜力进而引导模型在解决算术问题时得出正确答案4。

然而几周前的一篇文章对

CoT

是因为问题或生成的输出中包含了“”符号。

对于非数学问题我们并未发现任何迹象表明

CoT

通过对思维链Chain-of-thoughtCoT相关文献的元分析发现无论是在数学领域还是其他类型的符号推理领域CoT

CoT

带来的平均改进效果。

图片来源https://arxiv.org/pdf/2409.12183

这些发现似乎表明LLMs

并不具备常识推理能力但这并不意味着它们完全不具备其他类型的推理能力。

LLMs

可能只是在识别模式patterns。

也就是说它们在寻找模式patterns时并不真正理解这些数学符号的含义。

一些研究者指出6LLMs

reasoning因为它们不能制定出行动计划这里所说的计划是指一系列行动策略通过执行这些策略可以从初始状态达到期望的最终状态。

没有这样的计划模型就只能简单复现训练中遇到的模式patterns[15]而无法真正解决问题。

在某些情况下甚至可能是用户无意中引导

LLM

只是在进行猜测而真正引导它的是处于环路中的人类他们凭借对正确与错误解决方案的了解无意中操控了

LLM

即便他们并非有意为之。

因此确保准确性如果有的话的功过都应该归咎于这个环路中的人类。

sourcehttps://arxiv.org/pdf/2403.04121

LLMs

所声称的推理能力有时实际上是由于参与其中的人类在不自觉中提供了有益的、连续的提示词。

图片来源https://arxiv.org/pdf/2403.04121

综上所述支持大语言模型LLM存在推理能力的人们认为我们之所以看到模型的这些行为有多方面的原因。

但是有几项研究表明它们与这些观点存在冲突。

尽管那些研究坚称大语言模型LLM不具备推理能力但它们在所有基准测试中都取得了惊人的成绩甚至在一些复杂的测试中超越了人类的表现[16]。

因此我们提供的证据似乎更多是基于理论而不是基于大语言模型LLM解决数学和复杂问题能力的实证研究。

是否是因为人类对于被大语言模型LLM超越而感到不满还是其中确实存在问题呢

2.4

无疑看到有人声称大语言模型LLM的表现堪比博士生这让人感到不悦

o1-preview

模型的设计初衷是处理具有挑战性的任务它通过像人一样花更多时间思考和优化回答来应对复杂问题。

在测试中这种方法使得模型在物理、化学和生物等领域的表现接近博士生水平。

sourcehttps://venturebeat.com/ai/forget-gpt-5-openai-launches-new-ai-model-family-o1-claiming-phd-level-performance/

暂且不提这种不快问题在于我们如何衡量这些模型的能力。

我们可能并没有用正确的方法来测试它们的推理能力是时候采用新的评测体系了。

这些模型都在

8K[17]数据集上进行测试这个数据集提供了复杂的算术问题但由于训练

LLM

tokens存在答案泄露的风险。

此外这个数据集只提供了一个固定问题集上的单一度量标准对我们了解

LLM

可能在推理完全错误的情况下仍然给出正确答案。

而且这个数据集是静态的不允许我们改变测试条件。

GSM-Symbolic[18]

9它通过使用符号模板生成不同的问题。

通过该数据集我们可以调整问题的难度并在测试时提供更精确的控制。

这个数据集实际上与之前用于推理测试的数据集相同只是对问题进行了修改使得简单的统计模式匹配statistical

pattern

真的具备推理能力它应该能够轻松解决这些问题但如果它无法进行泛化那么它将无法完成任务。

GSM-Symbolic

模板创建过程示意图。

图片来源https://arxiv.org/pdf/2410.05229

LLMs

进行测试时研究者并未发现模型具备形式推理的能力。

这些模型并不稳健当数值发生变化时性能就会下降且在问题复杂性提升时其处理能力会迅速衰退。

如果向问题中插入看似相关却实际上对推理和结论无影响的语句模型便容易被误导。

模型会将这些语句考虑在内从而诱发错误。

研究指出模型并没有真正理解数学概念而是试图将这些语句转化为数学操作。

作者们推测这可能是由于训练数据集中包含了类似需要转化为数学操作的例子。

比如我们观察到的一种常见情况是无论上下文如何模型会将涉及“折扣”的语句理解为“乘法”。

这不禁让人质疑这些模型是否真正掌握了数学概念。

来源https://arxiv.org/pdf/2410.05229

图片来源https://arxiv.org/pdf/2410.05229

这再次证明模型甚至在模式patterns仅仅是背景噪声的情况下也会试图寻找这些模式patterns。

当噪声增强寻找模式patterns的难度加大或者难以一致性地将这些模式patterns映射到解决方案上模型的性能就会大幅下滑10。

这一点同样适用于那些经过

CoT

图片来源https://www.arxiv.org/pdf/2409.13373

结束语

进行训练因此存在主要基准测试数据集发生数据污染的风险。

即便模型未曾直接见过某个数学问题它也可能接触过众多类似的案例。

凭借其庞大的知识库和与生俱来的模式识别能力归功于注意力机制和上下文学习[19]它们能够解决大部分问题。

它们在应对问题变化、tokens

LLMs

并不具备形式推理的能力。

最新研究结果显示即便采用先进的提示词技术模型仍然容易受到噪声和不相关甚至可能误导信息的影响。

这些模型能够进行模式匹配但似乎并不理解解决问题所依据的任何数学概念。

这些发现并未否定

视为拥有非凡记忆力的机器却无法进行推理或者可以说是迄今为止最精巧的“机械鹦鹉”。

这并非贬低创造它们所需的卓越技术而是对人类智慧结晶的赞叹。

LLMs

的能力以及开发能够进行推理的新模型架构可能还需要进一步的研究。

Reference

https://arxiv.org/abs/2406.11050Shi,

2023,

https://proceedings.mlr.press/v202/shi23a.htmlSchaeffer,

2023,

https://arxiv.org/pdf/2304.15004Wei,

2022,

https://arxiv.org/abs/2201.11903Sprague,

2024,

https://arxiv.org/abs/2409.12183Valmeekam,

2023,

https://arxiv.org/abs/2403.04121Razeghi,

2022,

https://arxiv.org/abs/2202.07206Mirzadeh,

2024,

https://arxiv.org/abs/2410.05229Valmeekam,

2024,

https://www.arxiv.org/abs/2409.13373Lu,

2022,

https://aclanthology.org/2022.acl-long.556/Zhao,

2021,

https://proceedings.mlr.press/v139/zhao21c.htmlRogers,

2024,

https://openreview.net/forum?idM2cwkGleRL

Thanks

[1]https://github.com/SalvatoreRa/tutorial/blob/main/artificial%20intelligence/FAQ.md#large-language-models:~:textLarge%20Language%20Models,-What%20is%20a

[2]https://en.wikipedia.org/wiki/Natural_language_processing

[3]https://openai.com/index/introducing-openai-o1-preview/

[4]https://aibusiness.com/nlp/chatgpt-update-claims-reasoning-capabilities-industry-reacts

[6]https://super.gluebenchmark.com/

[7]https://deepgram.com/learn/hellaswag-llm-benchmark-guide

[8]https://paperswithcode.com/area/reasoning

[9]https://arxiv.org/pdf/2406.11050

[10]https://www.promptingguide.ai/techniques

[11]https://ngsf.in/2021/09/19/intelligence-as-an-emergent-property-in-biological-systems/

[12]https://github.com/SalvatoreRa/tutorial/blob/main/artificial%20intelligence/FAQ.md#large-language-models:~:textWhat%20does%20it%20mean%20emergent%20properties%3F%20what%20it%20is%20***%20scaling%20law%3F

[13]https://arxiv.org/pdf/2409.12183

[14]https://openai.com/index/learning-to-reason-with-llms/

[15]https://www.lakera.ai/blog/what-is-in-context-learning

[16]https://www.technologyreview.com/2023/08/30/1078670/large-language-models-arent-people-lets-stop-testing-***m-like-***y-were/

[17]https://paperswithcode.com/dataset/gsm8k

[18]https://machinelearning.apple.com/research/gsm-symbolic

[19]http://ai.stanford.edu/blog/understanding-incontext/

原文链接

https://towardsdatascience.com/***-savant-syndrome-is-pattern-recognition-equivalent-to-intelligence-242aab928152