需要接受基准测试#xff08;BenchmarksHumanity’s

Last

随着大型语言模型LLMs能力的飞速发展其在数学、编程、生物等领域的任务表现已超越人类。

为了系统地衡量这些能力LLMs

需要接受基准测试Benchmarks的评估。

然而现有的基准测试如

MMLU已经无法满足需求

数学涉及高阶数学概念如自然变换、共变自然变换等。

化学要求分析复杂的化学反应机理。

语言学考察对古代语言如圣经希伯来语的深入理解。

其他包括经典文学、生态学、计算机科学等领域的问题【详见图

前沿性问题由全球近

多家机构的领域专家包括教授、研究人员、研究生等共同开发确保了问题的前沿性和专业性。

2.2

问题格式包括精确匹配题模型提供精确字符串作为输出和多项选择题模型从五个或更多选项中选择一个。

答案验证所有问题都有明确的、客观的答案便于自动化评分。

2.3

第一轮由研究生级别的评审员进行多轮反馈和修订。

第二轮由组织者和专家评审员进行最终审核确保问题质量和符合提交标准。

社区反馈发布后将进行公开反馈期收集研究社区的意见以纠正数据集中的任何问题。

问题必须精确、无歧义、可解决且无法通过简单搜索获得。

所有提交内容必须为原创作品或对已发表信息的非平凡合成。

问题通常需要研究生级别的专业知识或测试对高度专业主题的知识。

答案简短且易于验证以支持自动评分。

禁止开放式问题、主观解释和与大规模杀伤性武器相关的内容。

HLE

无法正确回答的问题。

模型推理噪声模型在推理过程中存在固有噪声导致其无法始终保持一致的表现。

校准误差高模型在

上表现出较差的校准性经常以高置信度提供错误答案表明模型存在幻觉hallucination问题【详见表

RMS

(%)GPT-4O3.392.5GROK23.893.2CLAUDE3.5SONNET4.388.9GEMINI1.5PRO5.093.1GEMINI2.OFLASHTHINKING6.293.9O19.193.4DEEPSEEK-R19.481.8

3.2

推理成本高具有推理能力的模型需要生成更多的标记tokens从而导致更高的计算成本【详见图

未来方向未来的模型不仅需要在准确率方面有所提升还应致力于提高计算效率。

未来展望与影响

主要测试结构化的学术问题而非开放式的科研或创造性问题因此它只是衡量

技术知识和推理能力的一个指标而非衡量“人工通用智能”AGI的标准。

4.2

无法解决的问题然后借助专家同行评审员进行迭代完善。

每个问题随后由组织者或由组织者培训的专家评审员手动批准。

除了公共集之外还保留了一个私有保留集以评估模型在公共基准测试上的过度拟合和作弊行为。

5测试的推理模型的平均完成标记计数包括推理和输出标记。

我们还在附录

C.3