写在前面

我在看 GitHub 上的 AI Skill 时意外发现了一个叫 Luopan 的项目，觉得非常有意思。不过，

它是一个领域研究引擎——只要输入领域名。AI 就能输出结构化的产业地图。底层方法论借鉴了麦肯锡的领域研究框架，落地为四个 Phase：信源分级+ 多源视角矩阵 + 对抗验证 + 诚实原则。作者有腾讯和字节的背景，思路相当专业。

但在实际使用中，我碰到一个让人抓狂的问题——对抗验证环节常常被糊弄过去。

我让 AI 写一份领域报告，接下来让它在最终自检一次理论上应该能捕捉遗漏或错误。结果每次 AI 只跑两秒钟，就返回“检查完毕，未发现问题”，直接通过。

这里并不是设计缺陷，也不是实现 bug。而是根本原因：写报告的人和检查报告的人是同一个 LLM，而且处于同一上下文。不过，这就像让学生自己批改自己的作文——自我审阅往往缺乏严苛性。

进一步思考后我发现这不仅是 Luopan 的通病。很多带“自检”环节的 AI 应用 / SKILL，最终都走向了一样的敷衍。

为什么自检会失效

这不是 bug，而是 LLM 推理机制的固有特征。

生成文本时LLM 会形成一种“自我信念”，认为自己已经说对了。说起来，随后进行的简单讲检查。其实只是对自己刚才判断的 确认——强化而非推翻。

想象一下的观点是。如果你自己写完一篇文章，接下来立刻自己读一遍，你能发现多少真正的问题？可能只有一两处，但如果隔一天再读，或者换个人来审阅，你会发现更多隐藏的错误。

LLM 更糟糕——它根本做不到“等两天”。生成与检查共享同一个上下文、同一个推理状态，根本没有“换视角”这回事。

领域里为什么还在用

因为自检看起来很美好：

• 主流 Agent 框架都内置某种形式的自检，让设计者产生“流程完整”的错觉。怎么说呢，
• 自检确实有效。比如验证规则与生成规则不完全一致时可以捕捉到冲突。

但大多数 Skill 设计者忽视了关键点：结构上的完整并不等于效果上的有效。在 SKILL.md 中写一句“最终检查一下”。AI 会执行这句话，却以它自己的方式执行，而非你期待的独立审查。

怎么解决这个问题

我让 Gemini 查询业界目前已有的六种主流方案。并按成熟度从低到高排列：

方案一的观点是。独立验证 Agent

This is currently most mainstream approach. Generation and verification are performed by two independent processes:

↓ 验证 Agent
↓ 生成 Agent
↓
调用验证 Agent
↓ 循环 - 直到达标

The CRITIC paper reports that iterative loops can提高输出质量约 -%- . 主要不是“一次检查”，而是循环改进、不断校正**。

从方案二来看，反向种子注入

The idea is to deliberately inject a known error before generation。n require AI to discover and fix it during self‑check. If it fails to spot error,self‑check pipeline itself is ineffective.

• 热身搜索阶段故意引用过时数据或虚构数字。
• P​hase 自检时要求 AI 找出并纠正该错误。
• If not found → 自动触发重新自检直至检测成功。

This doubles as both a test and a training signal,forcing model into a genuine “挑刺” mode.

再看方案三。检查项结构化 + 必须输出修改动作

The abstract requirement “再过一遍” is turned into a concrete checklist where each item must include a concrete modification:

□ 问题： → 修改： → 位置：

If an entry lacks a “修改”字段，它将被视为无效，自检结果自动判为失败。

至于方案四。门控机制

L​uopan 已经在 Phase 1 与 Phase 2 设置了覆盖≥4视角、≥5个有效结果的门控，但验证阶段仍缺失。怎么说呢，再看可以补充，

Phase 3 对抗验证 → 必须输出至少 N 条具体问题
如果问题数 

从方案五来看，双上下文隔离 

The Hermes delegate_task pattern can实现真正的独立审核：
① 主 Agent 将产出保存为文件
② 审核 Agent 读取文件，仅以审稿角色评估，不知生成细节
③ 审核结果返回给主 Agent，用于后续修正


方案六这方面。量化评分 + 阈值 

A scoring rubric forces each check item to be quantified. Only when total score reaches a predefined threshold does pipeline proceed.
□ 每条主要判断有数据支撑：
□ 每条判断提供来源链接：
□ 每条判断包含 “所以呢” 的解释：
□ 公司分类具备合理依据：
--- 总分 ≥ 阈值 → 进入下一阶段
--- 总分 <阈值 → 强制重试或人工介入


什么才是有效的自检 


#1 检查者必须独立： 生成与审核不能共享同一上下文或状态。

#2 输出必须结构化： 不能只返回“未发现问题”，必须列出具体的问题列表。

#3 必须伴随修改动作： 每条检查项后需给出对应的修正指令，否则视为形式审查。

#4 引入门控： 不达标必须自动重跑或升级至人工复核，避免走过场。

#5 可追溯性： 每一步都留痕记录，以便事后复盘和责任归属。




"自检" 并不是写在 SKILL.md 中几行文字就能生效的功能，它需要*独立评判者*、*量化标准*、*强制门控*.