xmlns="http://www.w3.org/2000/svg"
style="display:
大模型相关研究：https://blog.csdn.net/WhiffeYF/article/details/142132328
AgentDoG：为AI智能体戴上「诊断项圈」
https://www.doubao.com/chat/38412557588304130
https://arxiv.org/pdf/2601.18491
论文翻译： />https://whiffe.github.io/Paper_Translation/Safe/AgentDoG%EF%BC%9A%E4%B8%80%E4%B8%AA%E7%94%A8%E4%BA%8E%20AI%20%E4%BB%A3%E7%90%86%E5%AE%89%E5%85%A8%E4%B8%8E%E5%AE%89%E5%85%A8%E7%9A%84%E8%AF%8A%E6%96%AD%E6%8A%A4%E6%A0%8F%E6%A1%86%E6%9E%B6%20—%20AgentDoG_%20A%20Diagnostic%20Guardrail%20Framework%20for%20AI%20Agent%20Safety%20and%20Security.html /> 上海人工智能实验室提出的AgentDoG是面向AI智能体安全的诊断性护栏框架，其核心依托三维统一风险分类体系（风险来源、失效模式、现实危害），构建了细粒度的智能体安全基准ATBench，并实现了对智能体轨迹的细粒度上下文监控与风险根因诊断；该框架推出4B、7B、8B参数量的Qwen和Llama系列模型变体，在R-Judge、ASSE-Safety、ATBench等基准测试中实现SOTA性能，不仅能完成二值安全分类，还能精准定位风险根因，同时开源了包含约2157种工具、4486轮交互的ATBench数据集及全量模型，填补了现有护栏模型缺乏智能体风险感知和诊断透明度的空白。 风险来源（Where）：用户输入、环境观测、外部实体、内部逻辑故障 失效模式（How）：行为失效、输出内容失效两大类别 现实危害（What）：隐私、财务、安全等10类实际损害 数据合成：三阶段规划式流水线+双层质量控制，保留52%有效数据 模型训练：基于Qwen/Llama的监督微调，学习率1e-5 智能体XAI归因：轨迹级时间动态分析+句子级扰动归因 规模：500条轨迹（250安全/250不安全），平均8.97轮，1575种独有的工具 特点：轨迹级评估、分类体系锚定、未见工具泛化测试 构建：分类引导合成+多模型标注+人工验证，易/难样本273/227 评估基准：R-Judge、ASSE-Safety、ATBench 评估指标：准确率、精确率、召回率、F1、细粒度诊断准确率 SOTA性能：AgentDoG-4B在R-Judge F1达92.7%，ATBench风险来源诊断准确率82.0% 对比结果：超越现有专用护栏模型，媲美大参数量通用模型 构建AgentDoG诊断框架，实现XAI风险根因诊断 现有局限：仅支持文本轨迹，无多模态输入能力 未来方向：拓展多模态支持、从被动监控转向主动对齐工具 /> 本文由上海人工智能实验室发布，聚焦AI智能体自主工具使用和环境交互带来的安全挑战，提出了诊断性智能体安全护栏框架AgentDoG，并构建了细粒度安全基准ATBench，通过系统性的风险分类、数据合成、模型训练与实验验证，实现了智能体安全的轨迹级评估和细粒度根因诊断，相关模型与数据集均开源。速览
一段话总结
/>
##**AgentDoG框架设计**
**ATBench基准**
**实验与性能**
**研究贡献**
**局限性与未来方向**
详细总结
一、研究背景与现存问题
二、核心基础：三维统一的智能体安全分类体系
该体系为正交三维结构，拆解智能体风险的来源、表现、后果，消除标签重叠，精准覆盖工具相关和环境介导风险，是AgentDoG框架的核心基础：
| 维度 | 核心问题 | 核心分类/数量 | 关键说明 |
|---|---|---|---|
| 风险来源 | 风险从哪来 | 4大类/8个子类 | 用户输入、环境观测、外部实体（工具/API）、内部逻辑故障 |
| 失效模式 | 风险如何表现 | 2大类/14个子类 | 行为失效（如规划缺陷、工具误用）、输出内容失效（如生成有害内容、未授权信息披露） |
| 现实危害 | 造成什么损害 | 10大类 | 隐私保密损害、财务经济损害、安全系统完整性损害等十大类实际危害 |
三、AgentDoG诊断护栏框架设计
AgentDoG围绕三维分类体系构建，实现轨迹级安全评估和细粒度风险诊断，核心包含任务定义、数据合成、模型训练、XAI归因四大模块：
- 任务定义
- 轨迹级安全评估：判断智能体执行轨迹中是否存在任意一步不安全行为，输出二值标签（安全/不安全）。
- 细粒度风险诊断：对不安全轨迹，输出**(风险来源,
失效模式,
三元细粒度标签。
- 数据合成与质量控制
- 合成流水线：三阶段规划式流水线（规划→轨迹合成→过滤），基于三维分类随机采样风险配置，生成多轮工具交互轨迹。
- 工具规模：采用超10000种工具，是R-Judge（114种）的86倍、ASSE-Safety（180种）的55倍。
- 质量控制：双层验证（确定性验证器+LLM判断），最终保留52%的生成轨迹，过滤结构错误、标签不匹配的样本。
- 数据规模：最终生成超10万条多轮交互轨迹，覆盖8类风险来源、14类失效模式、10类现实危害。
- 模型训练
- 基础模型：基于Qwen3-4B、Qwen2.5-7B、Llama3.1-8B进行监督微调（SFT）。
- 训练损失：最小化负对数似然损失，学习率统一设置为1e-5。
- 模型变体：推出4B、7B、8B参数量的AgentDoG模型，覆盖Qwen和Llama模型家族。
- Agentic
XAI归因模块
- 核心目标：诊断智能体行为的根因，追溯至具体规划步骤、工具选择或上下文误解。
- 两层归因：轨迹级通过时间信息增益定位关键影响步骤；句子级通过扰动策略（概率下降分数+概率保持分数）定位关键文本内容。
- 性能优势：相比基础模型，AgentDoG能更精准定位风险的核心驱动步骤/句子，实现更鲁棒的风险溯源。
四、细粒度安全基准：ATBench
为解决现有基准工具多样性低、缺乏细粒度诊断的问题，构建了轨迹级的智能体安全基准ATBench，作为独立评估集未参与模型训练：
- 核心规模：共500条完整执行轨迹，250条安全/250条不安全，平均长度8.97轮，覆盖1575种独有工具。
- 关键特点：轨迹级评估（捕捉长程决策链）、分类体系锚定（基于三维分类标注）、未见工具泛化（工具库与训练集无重叠，含2292种工具）。
- 构建流程：分类引导合成→质量评分过滤（剔除＜3分样本）→四模型标注（Qwen-QwQ、GPT-5.2等）+多数投票→人工验证（易样本20%抽查，难样本全量双盲审核）。
- 样本划分：基于模型标注一致性，分为273条易样本/227条难样本。
五、实验评估与性能表现
- 实验设置
- 评估基准：R-Judge、ASSE-Safety、ATBench三大基准。
- 评估指标：二值分类（准确率、精确率、召回率、F1）；细粒度诊断（风险来源/失效模式/现实危害准确率）。
- 对比模型：闭源通用模型（GPT-5.2、Gemini-3
Pro等）、开源通用模型（Qwen3-235B、Llama3.1-8B等）、专用护栏模型（LlamaGuard4、Qwen3-Guard等）。
- 核心实验结果
- 轨迹级二值分类：AgentDoG实现SOTA性能，AgentDoG-Qwen3-4B在R-Judge的F1达92.7%，超越GPT-5.2（91.8%）；在ATBench的F1达93.0%，显著超越所有专用护栏模型，且精准率/召回率平衡，无现有护栏模型的低召回问题。
- 细粒度风险诊断：AgentDoG优势显著，AgentDoG-Qwen3-FG-4B在ATBench的风险来源准确率82.0%、现实危害准确率58.4%，远超Gemini-3
Pro（风险来源36.8%）、Qwen3-235B（现实危害38.0%）等通用模型。
- 归因能力：相比基础模型（如Qwen3-4B），AgentDoG能精准定位智能体不安全行为的核心驱动步骤，而非无关信息，归因更符合因果逻辑。
- 关键发现：通用模型因强指令跟随能力，性能显著优于现有专用护栏模型；现有护栏模型因训练数据为单轮对话、与智能体轨迹分布偏移，在轨迹级评估中表现拉胯。
六、研究贡献
- 提出统一的智能体安全三维分类体系，将传统内容风险与新型智能体风险（如未授权工具使用）统一分类，解决现有分类维度混淆问题。
- 构建AgentDoG诊断护栏框架，集成XAI归因模块，实现轨迹级安全监控和风险根因诊断，突破二值标签的局限性。
- 开源ATBench细粒度安全基准，包含约2157种工具、4486轮交互，为智能体安全研究提供标准化评估载体。
- 训练并开源多尺寸AgentDoG模型（4B/7B/8B），实验验证其在多基准上的SOTA性能，为智能体安全落地提供实用工具。
- 提出分类引导的智能体风险轨迹合成流水线，实现风险空间的系统性覆盖，解决现有数据工具覆盖不足的问题。
七、局限性与未来方向
- 现有局限性：AgentDoG仅支持文本基轨迹输入，无法处理GUI基智能体的多模态输入。
- 未来研究方向：拓展多模态输入支持，适配GUI基智能体；将AgentDoG从被动监控升级为主动对齐工具，如将诊断输出作为强化学习的奖励信号优化智能体行为。
/>
关键问题
问题1：AgentDoG相比现有AI智能体护栏模型，核心突破点是什么？（侧重核心优势）
答案：AgentDoG的核心突破有三方面：一是依托三维统一的智能体安全分类体系，解决了现有分类扁平粗糙、维度混淆的问题，能系统覆盖智能体的复杂风险；二是实现轨迹级安全评估+细粒度风险诊断，突破了现有模型仅输出“安全/不安全”二值标签的局限，可精准定位风险的来源、失效模式和现实危害，并通过XAI归因模块实现风险根因的溯源；三是在性能上实现SOTA，相比现有专用护栏模型，其精准率和召回率更平衡，无低召回的保守预测问题，且能媲美大参数量通用模型，同时适配智能体的长程工具交互轨迹，解决了现有模型训练数据与智能体场景分布偏移的问题。
问题2：ATBench作为智能体安全基准，其核心设计特点和构建流程是什么？（侧重基准设计）
答案：ATBench的核心设计特点为轨迹级评估、分类体系锚定、未见工具泛化，具体是评估完整的智能体执行轨迹而非孤立输出，基于三维安全分类体系进行细粒度标注，且工具库与AgentDoG训练集无重叠，可测试模型对未知工具的泛化能力；其核心构建流程为：首先基于三维分类体系进行分类引导的轨迹合成，其次对生成样本进行1-5分的质量评分，剔除低于3分的低质样本，然后采用Qwen-QwQ、GPT-5.2等四异构模型进行独立标注并通过多数投票聚合结果，最后进行人工验证（易样本随机20%抽查，难样本全量双盲审核+第三方仲裁），最终形成500条轨迹（250安全/250不安全）的基准集。
问题3：AgentDoG的Agentic
XAI归因模块是如何实现智能体风险根因诊断的？（侧重技术实现）
答案：AgentDoG的XAI归因模块通过两层递进的归因方法实现风险根因诊断，先定位关键影响步骤，再精准定位步骤内的关键文本内容：一是轨迹级的时间动态分析，计算每个轨迹步骤的时间信息增益，量化该步骤对智能体不安全行为的驱动程度，信息增益越高则该步骤为关键影响步骤；二是句子级的扰动策略分析，对关键步骤内的每个句子，计算概率下降分数（剔除该句子后智能体执行目标行为的概率变化，衡量句子的必要性）和概率保持分数（仅保留该句子时智能体执行目标行为的概率变化，衡量句子的充分性），将两个分数聚合为最终归因分数，分数越高则该句子为驱动智能体不安全行为的核心文本内容。
相比基础模型，该模块能更精准定位符合因果逻辑的风险根因，而非无关的执行日志信息。
