xmlns="http://www.w3.org/2000/svg"
style="display:
/>
文章目录
- 01｜核心概念：chosen
rejected
到底是什么？
- 🔬
研究结论（很“工程友好”）：Chosen
质量才是第一生产力
- 🔬
- 02｜四大偏好优化算法：怎么选才不踩坑？
- DPO：经典、稳，但更吃显存
- ORPO：把偏好“揉进”SFT，一次训完
- SimPO：更轻的
DPO
思路，隐式奖励更贴近生成
- KTO：你只有“好/坏标签”，也能对齐
- 03｜企业级标注准则：四层门禁（把“审美”变成“可检查项”）
- 04｜Pair
采样策略：配对质量
训练信号质量
- 05｜难例挖掘：真正的“涨分点”在这里
- 06｜一致性标注
+
审计：不做这步＝白训
- 6.1
一致性量化：IAA
审计三件套（建议写进制度）
- 6.1
- 07｜工具链推荐（能直接落地）
- ✅
交付物
推荐）
- JSONL（推荐）
- Chat
Messages（对话型管线）
- ✅
交付物
SOP（强制执行版）
- 2.1
判定顺序（不允许跳步）
- 2.2
reason_tags（强制填写）
- 2.1
- 📚
参考（按本文使用顺序）
SFT
做完，很多团队会遇到同一个坑：口径不稳、风格漂移、越用越像“随机选项”。
/>偏好对齐不要求你写“标准答案”，它只问一句：两种回答里，你更偏好哪一种？——然后把你的“交付标准”固化进模型。 本文把DPO KTO四条主流路线讲清楚，并把pair 一致性审计体系一次性给到你：可复制、可上线、可追溯。ORPO
数据工程全流程
01｜核心概念：chosen
rejected
到底是什么？
✅chosen：你更希望模型输出的版本 />更准确、更稳定、更安全、更符合交付风格 ❌rejected：你不希望模型输出的版本 />跑题、啰嗦、幻觉、越界、格式差 研究结论（很“工程友好”）：Chosen 性能的首要驱动因素；rejected 只要保持基本“对比度”，边际贡献就会迅速变小。 换句话说：很多“拉大差距”的技巧之所以有效，根因是把 专家审核，回报更稳、更可控。 :contentReference[oaicite:1]{index=1} /> 不需要 label（无需配对） 与偏好合成一个目标 Theory），从好/坏二值学习 较高（多加载一个模型） 低 SFT+对齐做掉 pair xmlns="http://www.w3.org/2000/svg" orient="auto"> transform="translate(278.044921875, transform="translate(-32.4609375, pair transform="translate(477.044921875, center;"> 单条打分🔬
DPO
chosen
02｜四大偏好优化算法：怎么选才不踩坑？
维度 DPO ORPO SimPO KTO 需参考模型（ref 需要
❌ 数据形态 prompt +
核心思路（口径） 偏好损失 +
序列平均对数概率做隐式奖励 前景理论（Prospect 显存开销 🔴 🟢 低
🟢 典型适用 通用、成熟管线 想“一站式”把 资源紧张、想更轻 只有打分/好坏标签，难组织 viewbox="0
250.8515625)">
style="display:
250.8515625)">
transform="translate(163.419921875,
498.8515625)">center;">分开（两阶段）
center;"> 分开（两阶段）
transform="translate(392.669921875,
498.8515625)">center;">一站式
center;"> 一站式
