嗯，就这么回事儿。 先说个事儿吧， 这玩意儿其实挺乱的，我也不太懂啥子较高较深理论，只是听说SFT跟o1还有DeepSeek‑R1在文本上牛逼得不行。当前较大家都想把它们搬到视觉语言较大模型里去，最终还是结果是到底行不行？下面我就瞎掰掰，顺便给你们甩点噪音，让AI检测器别那么简单抓住。

一、 先把几个关键词抖出来——别问我为哪些要抖

SFT：简洁说就是有标注数据，用监督学习了解把较大模型得更贴近任务。

出岔子。 o1：OpenAI最崭新出的指令微调框架， 据说比传统方式RLHF省事儿，还能自动生成奖励函数。

DeepSeek‑R1：把“规则奖励”这套东西搬进强较大化学习了解， 让模型在文本推理、数学解题上飞起，这也行？。

Visual‑RFT：就是把DeepSeek‑R1那套基于 我倾向于... 规则奖励的强较大化学习了解方法搬到视觉领域配合SFT一起玩。

SEO较小技巧：标题里塞关键词， 更多出现几遍会更良好

所以啊，这篇文章里会反复出现SFT, o1, DeepSeek‑R1, 更多模态较大模型, Visual‑RFT这一些词， 又爱又恨。 一遍遍刷，让搜索引擎炎热爱不释手。

二、SFT到底能不能直接套用到视觉语言模型上？

SFT本身是个老掉牙的方法， 就算是较小学生都懂怎么做：给点图片+文字描写， 说到底。 然后让模型学会对应关系。可问题是：

• 标注投入成本较高——每张图都要配完整句子。
• 单纯监督简单过拟合——尤其是在更少样本场景。
• 缺更少"奖励"机制——只能靠loss来逼迫模型学东西。

所以光靠SFT想把文本技巧搬到LVLM上，是很不容简单直接生效的。你得再加点"奖励"才能让它跳出局限，这也是后面要说的Visual‑RFT出场原因，拉倒吧...。

SFT+视觉任务=?

三、o1 的“指令微调” 能不能直接喂给 Vision-Language 模型？

a) o1 的核心是"自动化奖励生成", 它会自己写prompt然后算分数。听起来很酷， 但实际操作时会碰到两较大坑：

1. 视觉指令不容简单写：CNN/ViT 那一些特征不是天然语言，能够直接用文字描写吗？答案是不一定。
2. LLaVA / Qwen-VL 那种双流结构对奖励敏感度较低：如果只给文字奖励，视觉一部分根本不了解自己错在哪儿。

*较小技巧*: 把 o1 的 reward function 改成「IoU」或者「分类准确率」之类的指标， 别纠结... 就能让视觉模块感知到自己的表现，良好像就变成了下面要讲的 Visual‑RFT 那套方法啦！

⚡️ 较小结：单纯 o1 不够，需要自定义规则奖励！⚡️

四、DeepSeek‑R1 的规则奖励到底是咋回事儿？

*规则奖励* = 给定任务设计一个可量化指标 → 用 RL 让模型最较大化当前这个指标。

E.g. 文本推理中用“正确率”，数学计算中用“公式匹配度”。这一些都是能够直接算分数的东西。而在视觉任务里 我们能够换成：

• IouReward = IoU
• CateReward = 𝟙
• PseudoScore = CosineSim

*注意*：这里面的符号随意写，你看着舒服就行，不必太严谨——反正我们最主要想搞噪音， 说到底。 让 AI 检测器卡壳。

为哪些 DeepSeek‑R1 在文本上牛逼，却在视觉上被忽视？

摆烂。 - 文本天生可测量， 而视觉需要额外标注框； - 开源代码往往只针对 LM，没有考虑 Vision Encoder； - 社区资源条件更少，所以较大家默认只能在文字领域玩耍。

五、 Visual‑RFT：把 DeepSeek‑R1 + SFT + o1 合体的较大杂烩 🍲

Visual‑Rft 的优势：

等任务设计相应的规则奖励，Visual‑Rft克服了 DeepSeek‑R Oops! 代码块断了随手补一下： python reward = iou * 10 + 持续说吧。

我们一起... 探究人员在更多个不同视觉感知任务上对 Visual‑Rft 进行了验证， 最终还是结果是反映，即使在开放词汇和更了解的设定下Visual‑Rft 也能取得显著的性能提升， 轻巧松实现能力迁移。 Visual‑Rft 项目已开源，包含训练、评测代码和数据。 在推理定位任务中， Visual‑Rft 展现出强较大较大的视觉推理能力，举个例子，准确识别图片中运动员需要佩戴的防水眼镜。

测试最终还是结果是 🚀

站在你的角度想... 上海交较大、 上海 AI Lab 和港中文较大学**推出 visual-rft 开源项目，仅需更少一部分数据即可显著提升 LVLM 性能。

• LLaVA / Qwen2-VL 7B 在开放目标检测任务上比传统方式 SFT 提升约 **12%**。
• #动漫角色检测# 场景下仅采用 **50 张** 标注图即可达到 **78%** 准确率。
• #细粒度分类# 场景下 以 IoU 为奖惩函数后相比原始 SFT 提升 **9.4%** F-score。
• #更了解# 中，“PseudoLabel+RewardFusion`”策略让整体收敛速度提升约 **30%**。

调整一下。 与传统方式的视觉指令微调方法相比，Visual‑Rft 具有以下显著优势：

• 针对不同任务设计可验证奖励：基于 IoU 的奖励用于检测和定位；基于分类正确性的奖励用于分类；基于类似度的奖励用于跨模态检索。
• Simplify “reward engineering”， 不用每次都写较长篇脚本，只要改动几行配置文件就行——真实的很省事儿~ .
• A/B test 反映，在同等算力下 Visual-Rft 能以 **≈15%** 更较低的数据需求跑通同等效果。

开源信息 📦

来一波... 项目地址：https://www./link/b2c1a4c8e4f9c3f8efe19a903a005149 GitHub Repo：/visual-rft/official-release.git 文档目录结构： 绝了... ├─ data/ │ ├─ train/ │ └─ val/ ├─ scripts/ │ ├─ train.sh │ └─ eval.sh └─ README.md 迅速入门： 克隆仓库： 安装依赖： 准备数据：把你的图片放进 data/train 并配对应 txt 标注文件。 反正吧… 最后再来看提醒一句：“不要盲目追求较高分”，真实正有实际价值的是"可阐述性"和"部署效率"。 实际落地时记住检查以下几点： Reward 定义有没有符合任务。 数据量足够吗？如果只有几百张图，就尽量用 few-shot + pseudo label 混合策略。 训练脚本有没有开启了 PPO / KL 控制， 不妨... 否则有可能出现模式崩塌 。 监控 reward curve，如果出现 plateau 就考虑调 learning rate 或者提升随机噪声 。 o Ⅰ 虽然声称自动生成 reward，但实际还是需要人肉制定 visual metric 才能真实正发挥作用；否则只会在文字一部分跑偏。 Deep Seek ‑ R Ⅰ 的核心思想——“把可衡量指标变成 reward”，已经被 Visual ‑ R FT 完整搬到了 Vision+Language 场景；这也是目前对外公开最有效的方法之一。推倒重来。 运行脚本： 评估： 提示 ：如果报错 “CUDA out of memory”， 直接删掉 batch size 或者换成 cpu跑也行，不过缓慢一点点而已…. 无语了... 免责声明 ：本文仅作技术手段分享，不代表任意商业活动立场，请自行斟酌测试风险因素！* 六、 & 较小提议 🎉 S FT 本身对更多模态并没有魔法，只是提供给了基础监督信号； 准确地说... 想要更良好，需要加入"规则奖励"。