从前言来看。痛点直击

我频繁遇到以下困扰：

• 答案不稳定：一样的 prompt有时得到完美实现，有时却答非所问。
• 人工审查成本高：逐个检查生成的代码既慢又难以工程化。
• 幻觉风险：模型偶尔会“一本正经地胡说八道”，导致上线后出现 bug。

这些痛点迫使我寻找一种能够 自动、可靠、可 的评测方案。

没有 Harness 时的工作流

你向 AI 提出问题，只得到 单个答案。若答案错误，只能靠运气或人工干预来纠正。怎么说呢，

同一个问题向 LLM 发送 N 次请求得到 N 个候选答案；随后让另一模型充当评委，对每个答案打分，最终挑选最高分的答案。

┌───────────┐ ┌───────────┐ ┌───────────┐
│ 生成 │ → │ 评测 │ → │ 择优 │
│ N 个候选 │ │ LLM 打分 │ │ 选最高分 │
└───────────┘ └───────────┘ └───────────┘

"Harness"代表着给 LLM 加上约束，让它在规则内稳定产出高质量结果。

三个主要理念

理念	通俗解释	解决实际问题
Best‑of‑N Sampling	同一问题多次采样，覆盖更多解法	降低单次幻觉导致的错误概率
LLM as Judge	AI 为 AI 打分，取代人工审查	显著降低人工成本，提高评测效率
Harness 抽象层	生成·评测·择优三段解耦。可独立演进	提高程序可维护性和可 性

二、完整代码：从零实现 Harness 流水线

环境准备 & 配置文件

npm init -y
npm install openai dotenv
# .env
OPENAI_API_KEY=你的API密钥
MODEL_NAME=qwen-plus
OPENAI_BASE_URL=https://dashscope.aliyuncs.com/compatible-mode/v1

主要实现

import OpenAI from 'openai';说起来，import { config } from 'dotenv';config，// ---------- 底层工具：统一封装 LLM 调用 ----------
const client = new OpenAI({
apiKey的观点是。process.env.OPENAI_API_KEY,baseURL: process.env.OPENAI_BASE_URL,});const askLLM = async => {
const res = await client.chat.completions.create({
再看model。process.env.MODEL_NAME,messages:,temperature: 0.8,// 可调节随机度
});return res.choices.message.content.trim;}，// ---------- 阶段 1：Best‑of‑N Sampling ----------
const generateCandidates = async => {
const tasks = Array.from => askLLM);return Promise.all;// 并行请求
}，// ---------- 阶段 2：LLM as Judge ----------
const judge = async => {
const prompt = `
你是严格的代码评审，请判断下面代码是否正确实现“数组去重函数”。只返回一个0~100之间的整数评分，不要解释。从代码来看，${code}
`;const raw = await askLLM;const score = parseFloat;return isNaN?0 : Math.min,100);}，其实，const evaluateAll = async => {
const results =;for {
const score = await judge;results.push;话说回来，}
return results;}，// ---------- 阶段 3：择优 ----------
const pickBest = =>
evaluated.reduce =>。{
再看score，-1,code: '',});// ---------- Harness 主流程 ----------
export const harness = async => {
console.log;const candidates = await generateCandidates;console.log，话说回来，const evaluated = await evaluateAll;其实，console.log;--- // 输出所有候选及评分
evaluated.forEach =>
console.log
);不过，const best = pickBest;console.log，return best.code;}，// 示例调用
=> {
const bestCode = await harness(
'请使用 JavaScript 实现一个数组去重函数'。
4 // Best‑of‑N 参数，可根据需求调节
);其实，console.log;})，

三、代码架构拆解与关键点说明

# 模块	职责
alertLLM	统一入口，屏蔽不同供应商 API 差异；修改模型或密钥仅需改这里。
generateCandidates	N 次并行调用，实现 Best‑of‑N；使用 P​romise.all,时间 ≈ 最慢一次。
manualJudge	L​LM 打分逻辑；通过明确“只返回数字”约束避免解析错误。
E​valuateAll
P​ickBest	A O 单轮遍历选出最高分，无需再调用 LLM。
*整个流水线可随意替换任意阶段，例如把评审换成人肉或外部评分服务。

为什么 Best‑of‑N 有效？

L​LM 的采样过程受温度、随机种子等因素影响。同一次提问可能产生截然不同的实现方式：

• #1 使用 .filter,简洁但兼容性一般。
• #2 使用 .reduce,写法炫酷但易漏边界条件。
• #3 使用 .Set,性能最佳且易读。老实说，

N 次采样相当于给你提供了 “备选方案库”。只要其中有一个满足需求，就能被评委挑出来。单次调用只能得到唯一解——成功率明显提高。

LLM 当评委的 Prompt 要诀

要点 写法示例 原因
角色设定	“你是严格的代码评审”	明确身份，使模型更专注于评价任务。
任务描述	“判断是否正确实现数组去重函数”	限定评价范围，防止跑题。
输出约束	“只返回一个0~100整数。不要解释”	简化解析，避免出现冗余文字导致 parseFloat 出错。
容错处理	isNaN?0:score	防止模型偶尔输出文字或空值导致脚本崩溃。

四、实际价值：如何解决实际问题？

场景	单次 LLM 调用缺陷	Harness 改进后效果
代码生成常出现 bug 一次产出可能含隐蔽错误，需要人工排查 多候选 + 自动评分，大幅降低漏检率，实现流水线化交付
文案撰写风格不统一 随机性导致风格跳变。需要反复手工微调 Best‑of‑N 捕获多种风格，由 Judge 按指标挑出最符合要求者
数学题解答漂移 一次解答可能遗漏步骤或算错 多解答取最高得分，即可获得最严谨完整的解法

Auction 模式不仅适用于代码，还可以推广到翻译、摘要、标注等任何输出波动较大的场景，实现「质量下限」保障。不过，

五、常见坑与规避技巧 

至于坑一。评分 Prompt 没有限定格式 

// ❌ 错误示例
const prompt=请给下面代码评分：${ code};

// ✅ 正确示例 const prompt=请给下面代码打分。只返回一个0~100之间的整数，不要解释：${ code};其实，

至于坑二。忘记对 LLM 输出做 parseFloat 容错 

// ❌
return Number;// “85 分”会 NaN 

// ✅ const score=parseFloat;return isNaN?0:score，

坑三的观点是，误以为 generateCandidates 是串行 

// Promise.all 会并行发起 n 个请求
const tasks=Array.from=>askLLM);return Promise.all;

小技巧 

• Docker 化部署时把 .env.example 放进镜像，以免泄露密钥。
• L​LM 打分阶段可以开启批量模式，进一步降低 API 调用次数。.
• N 值建议从 3~7**之间**尝试，根据业务预算和响应时间权衡选择**。.

六、一句话 

// 精简主要流程示例 const candidates=await Promise.all( Array.from=>askLLM) );const evaluated=await evaluateAll;const best=pickBest;

This pattern looks simple but becomes a production powerhouse once engineered—just tweak prompt and you can apply it to any unstable LLM output scenario.

The full source lives in /hjf-ai/interview/ai/harness/q1/​.. Set your .env and run script to see it in action.

---