新技术能否让新王数学满分，干翻GPT-4o？

最近AI界又出了个大新闻， 一家小创业团队搞出了个新模型叫Reflection 70B，据说能自我纠错，数学成绩刷爆了测试集， YYDS！ 直接超越了GPT-4o、Claude 3 Opus、Gemini 1.5 Pro这些业界巨头。

模型能自我反思纠正错误

这个模型的厉害之处在于， 它采用了一种名为Reflection-Tuning的新训练技术，让AI能够在推理过程中纠正自己的错误和幻觉。简单就是让AI学会自己检查自己的答案，如果错了就改过来，原来如此。。

尊嘟假嘟？ 比如在数r的测试中， 一开始它和大多数模型一样犯了错，但它主动在“反思”标签中纠正了自己。这种能力是通过引入特殊的token来实现的，让模型能够结构化地输出推理过程和到头来答案。

Agent创业团队打造

简单来说... Reflection 70B的背后是一支小团队，由HyperWriteAI的CEO Mutt Shumer带领。Mutt Shumer是一位连续创业者， 曾创立了Visos和FURI等公司，看来是个很有经验的创业者。

HyperWrite是一个浏览器操作agent， 可以像人一样操作谷歌浏览器来完成任务，比如订披萨。这个团队还开发了其他一些有趣的应用，将心比心...。

开源大模型王座易主

Reflection 70B一上线就引爆了业界， 主要原因是它在多个基准测试中全面超越了Llama 3.1 405B、GPT-4o等顶流模型。特别是在数学基准GSM8K上，直接刷到了99.2%的准确率，我明白了。。

这个后来啊不仅让OpenAI科学家激动，还引发了人们对AI未来发展方向的思考。AI的“反思”能力究竟意味着什么？ 归根结底。 它是否意味着AI正在向更加自主、更加智能的方向发展？

新技术带来的可能性

Reflection 70B的能力提升，得益于其采用的Reflection-Tuning训练方法。 试试水。 这种方法让模型能够反思自己生成的文本，在到头来确定回应前检测并纠正自身推理中的错误。

初步测试表明，参数temperature为0.7，top_p为0.95时效果较好。一边， 内卷... 为了提高准确性，最好在Prompt末尾附加"Think carefully."

虽然目前试玩页面暂时无法访问，但Reflection 70B的权重已经公开， 总的来说... API访问也将于近期提供。

结论

总的Reflection 70B的出现代表了AI技术的一个新突破。它不仅在多个基准测试中超越了GPT-4o， 这也行？ 还展现了强大的自我纠错能力。这对于AI的发展是一个非常振奋的消息。

不过 也有人对这个后来啊表示怀疑，认为GSM8K这个基准测试可能需要被重新评估了主要原因是Reflection 70B甚至能回答对数据集中本身答案错误的问题。

戳到痛处了。 无论如何，Reflection 70B的出现，无疑给AI界带来了新的活力和可能性。期待未来能看到更多类似的技术突破。

参考链接： https://mattshumer/Reflection-Llama-3.1-70B https://x.com/mattshumer_/status/1831767014341538166 https://x.com/polynoamial/status/1831798985528635806 https://x.com/degeneratoor/status/1831809610451448196 https://x.com/kimmonismus/status/1831772661296345333

本文来自微信公众号: 量子位,作者:西风,原标题: 广告声明:文内含有的对外跳转链接,用于传递更多信息,节省甄选时间,后来啊仅供参考,IT之家所有文章均包含本声明。