新模型的真实价值到底在哪里？

几乎每隔一两个月，AI 领域就会迎来一个功能较强模型。官方榜单刷新。编程能力提高多少百分点，推理成绩超过多少人类专家。随后社交网站上大量演示：一句话生成网站、复刻某款产品、制作 SVG 动画，甚至在几十秒内写出一个小游戏。怎么说呢，

这些 Demo 炫目夺目。却让我们仍然难以回答最基本的问题：

这个新模型，到底比上一个模型强在哪里？

当主流模型都能生成漂亮网页，仅凭最终效果已越来越难反映它们的真实差距。

再看使用者痛点。炫酷 Demo 难以衡量真实水平

演示太短、场景单一

前端页面测试直观，却往往只需几百行代码，一张截图、一段动画就可以完成。它只能证明模型有一定代码和审美能力，却无法检验其处理持续数小时、包含多个阶段的复杂项目的能力。

高频模式掩盖创新

渐变背景、玻璃拟态、三栏卡片和滚动动画已经成为 AI 建站 Demo 的“标准配方”。这些视觉语汇可能来源于训练数据中的高频网页范式，也可能被流行组件库、默认提示词和产品偏好进一步强化。模型生成的往往是“看起来不错”的标准答案，而未必真正理解使用者需求。

成功案例被放大，失败过程被隐藏

我们常看到的是最成功的结果。却看不到：

• 测试者尝试了多少次？
• 中间修改了多少轮？
• 模型犯过哪些错误？是否有大量人工介入，

这些过程通常不在演示中出现，使得原本用于判断模型能力的测试沦为营销手段。话说回来，炫酷 Demo 能制造惊喜。却难回答：“这个模型能不能真正承担复杂工作？”

Karpathy 的逆向思考：用《指环王》挑战 Opus

从任务设计来看。开放、复杂、无标准答案

Karpathy 没让模型再生成常规网站，而是给它《指环王》第一段文字，提供 1 万 token预算，要求使用 Three.js 将文字转化为三维世界。

模型持续工作约两个小时最终写出数千行代码，实现场景搭建、物体放置与动画编排。作品虽不精致，但主要是：

• 能够把文学描述转化为空间关系；
• 决定场景内容、物体位置、角色移动和镜头切换；
• 将这些决策落实为一致且可运行的代码。

Karpathy 想验证的主要问题

这种测试到底测到了什么？按理说，

长程工作能力

AIGC 常在几分钟内完成网页生成。而这里要求模型连续工作两小时需要记住早期决策、维护庞大上下文，并避免新增代码破坏已有功能。

复杂任务拆解能力

Karpthy 只提供文学文本和最终目标，没有细化步骤。模型必须自行决定：

• 如何理解文字；
• 如何分阶段搭建场景；
• 先后完成哪些子任务；还有出现问题时从哪里着手修正。

跨领域协调能力

The model 必须在文字、三维空间、动画和程序逻辑之间来回转换。任何环节的偏差都会导致结果混乱。

工作耐力与成本意识

AIGC 往往因为项目琐碎且成本低而被忽视。但只要预算可接受，模型可以持续处理大量繁琐细节。这一点在传统评测中很少涉及。

重新定义评价指标：从“能否”到“做到哪一步”

• 固定预算内能完成到何种程度？

至于好的测评。展示实力也要暴露边界

Karpthy 主动指出 Opus 的短板：

• 模型无法像人类那样连续观看整段动画或进入游戏世界检查穿模、镜头合理性等细节，只能靠零散截图进行低效判断，从而遗漏问题。

This reveals a crucial gap: models excel at generation but lag in self‑assessment.

The takeaway for users and developers

A good evaluation should not only wow audience but also clearly show where model fails. If a benchmark only produces “wow” moments without exposing capability limits。it functions more like advertising than a genuine assessment.

If you’re trying to decide wher to adopt a new AI model,look beyond flashy demos. Ask yourself:

• The model can sustain long‑term work without losing context?
• If you give it an open‑ended。multi‑disciplinary project,how far will it get?
• You can trust its self‑checking mechanisms,or will you need heavy human oversight?
• The cost of running such extended tasks fits your budget?

This deeper approach turns “new model hype” into actionable insight for real‑world development.