上一篇讨论的是“人工 Skill 相比裸模型和自生成 Skill 是否真的有价值”。只要进入对比，就会遇到一个评估偏差：评审者一旦知道哪份输出来自 with_skill。就容易把预期写进结论，

SkillSentry 在 standard/full 中把对比分成两步：Comparator 先盲测 A/B 输出质量，Analyzer 再解盲归因到 SKILL.md 的具体规则。这篇文章讲的就是这两个步骤为什么要分开。

说到说明。这篇文章中的 A/B 是 Comparator 随机分配的盲测标签，不等同于上一篇三条件对比里的条件 A、条件 B和条件 C。这里的 A/B 只表示「两份待比较输出」，目的是隐藏哪份来自 with_skill。

为什么需要盲测

SkillSentry 的主要问题是：这个 Skill 真的有用吗？

通过率只能告诉你「Skill 有没有完成任务」，但不能告诉你「没有这个 Skill 时AI 是不是也能完成」。

如果没有 Skill 时 AI 也能做对，那这个 Skill 的价值就是零。

这就是三条件对比范式的主要——但对比时有一个陷阱：确认偏误。

再看确认偏误。为什么直接对比不可靠

问题场景：

• 人工评审时无意识地偏向预期答案，导致结果失真；
• 相似度高的输出难以区分优劣，影响判断准确性；
• 缺乏客观指标衡量Skill真实增益，难以调整改进方向。 不过，

Output A：格式整齐，字段完整 Output B：格式稍乱。但信息基本正确

假设你同时看到两份输出，而且知道哪份来自 with_skill： 你的判断可能是：「A 明显更好——格式规范、结构清晰。」 但如果你不知道哪份来自 with_skill。你可能会注意到：「B 虽然格式稍乱，但回答了一些 A 没有回答的边界问题。」 这就是确认偏误——当你知道预期答案时你会无意识地降低对预期答案的标准、提高对非预期答案的标准。Comparator 的解法：在不揭盲的情况下评判，消除这种偏误。

Comparator：盲测评判

主要设计

• 输入参数:
• - output_a_path: 标记为 A 的输出;
• - output_b_path: 标记为 B 的输出;
• - eval_prompt: 原始测评 prompt;
• - expectations: 断言列表。老实说，

关键约束:


- Comparator不知道A和B哪个是with_skill;


-A/B分配是随机。不过，

• "随机分配A/B标签进一步确保了盲性——如果with_skill总是A。评判者可能无意识地偏向A。"