这不是给智Neng泼冷水。

模型Ke以提出动作建议，但Zui终Neng不Neng执行，必须由程序决定。

否则一旦模型误判、提示词被绕过、上下文被污染，系统就可Neng执行真实副作用。

这个订单是不是Neng取消？

模型可Neng误判成：

type AuditLog = { traceId: string; userId: string; toolName: string; argsSummary: string; confirmationId?: string; resultStatus: "success" | "failed"; createdAt: string;};function createAuditLog: AuditLog { return { ...input, createdAt: new Date.toISOString };}

审计日志回答的是：

Yi为你取消订单。

前端同学Ke以把它理解成危险操作的确认弹窗：

因为模型可Neng误解用户意图。

用户说：

前端Ke以展示确认卡片：

仍然不建议。真实业务里应该展示操作摘要，让用户明确确认。

type RiskLevel = "low" | "medium" | "high";type ToolDefinition = { name: string; riskLevel: RiskLevel; requiredPermission: string; requiresConfirmation: boolean; handler: => Promise;};

低风险工具通常是只读：

type ConfirmationRequest = { confirmationId: string; toolName: string; argsSummary: string; riskLevel: RiskLevel; message: string; status: "pending" | "approved" | "rejected";};function createConfirmation { const orderId = String; return { confirmationId: crypto.randomUUID, toolName: tool.name, argsSummary: JSON.stringify, riskLevel: tool.riskLevel, message: `该操作将取消订单 ${orderId}，是否确认继续？`, status: "pending" } satisfies ConfirmationRequest;}

此时 Agent 的回答应该是：

不是所有工具风险dou一样。

用户可Neng重复点击确认，模型也可Neng重复发起同一个工具调用。

Neng不Neng让它开始真正办事？

应该先生成一个确认请求：

它开始变成“操作系统”。

这就hen危险。

取消订单 A1001 是高风险操作。请确认是否继续。

而不是：

这对真实业务hen重要。

不要只写“是否确认执行”。

Ru果你要让 Agent 调用真实业务工具，Ke以先按这份清单检查：

Agent 安全边界不Neng靠模型自觉。

Agent 一旦Neng调用有副作用的工具，就不再只是“回答系统”。

作者：前端转 AI 深度实践者

这是让智NengNeng进入真实世界。

先kan一个危险写法：

Agent 不Neng“模型说执行就执行”。

low -> Ke以自动执行，但要记日志medium -> 需要权限检查high -> 需要权限检查 + 用户确认 + 审计日志

这不是把系统搞复杂。

但Ru果工具里有：

Prompt 是软约束。

async function runModelDecision { return runTool;}

这意味着：

因为真实世界里Neng办事的系统必须先Neng负责。

后端必须校验 confirmationId 是否存在、是否属于当前用户、是否仍然有效、是否Yi批准。

高风险操作必须Neng暂停，也必须Neng恢复。

因为高风险操作不Neng只kanZui终状态，还要Neng追溯过程。

type AgentUser = { id: string; permissions: string;};function hasPermission { return user.permissions.includes;}

再定义工具：

它不只是把工具跑起来还要检查：

取消订单这类动作，不Neng直接执行。

不是。发邮件、退款、改权限、批量修改、取消订单dou可Neng是高风险。

{ "toolName": "cancelOrder", "args": { "orderId": "A1001" }}

用户只是问Neng不Neng取消，不是要立刻取消。

它Neng调用工具。 它有工具 Schema。 它Neng多步执行。 它会失败处理。 它还有 trace、结构化日志和运行报告。

Ke以先分三类：

查询类Ke以宽一些，写入类必须严格走权限和确认。

AI 工程有个朴素但重要的原则：

真正可靠的 Agent，需要把工具分级，把权限Zuo硬，把高风险操作停下来确认，把执行过程写入审计。

审计日志要可追溯，但不代表要裸存所有字段。

风险等级的意义是：不同工具走不同执行规则。

模型擅长理解意图，擅长生成建议，但它不应该拥有Zui终执行权。

高风险工具即使确认后执行，也要记录审计日志。

const cancelOrderTool: ToolDefinition = { name: "cancelOrder", riskLevel: "high", requiredPermission: "order:cancel", requiresConfirmation: true, handler: async => { return { cancelled: true, orderId: args.orderId }; }};const toolRegistry: Record = { cancelOrder: cancelOrderTool};

执行前必须检查权限：

模型说调用什么程序就调用什么。

Ru果工具dou是查询类，还勉强Ke以接受。

先定义用户上下文：

function ToolConfirmationCard => void; onReject: => void;}) { return => onReject} > 取消 onApprove} > 确认执行 );}

真实系统里这个确认请求可Neng对应：

你确定要删除这个项目吗？

Agent 只是把按钮点击换成了自然语言流程，但安全原则没有变。

它必须被暂停、展示、确认、记录。

要展示工具名、关键参数、风险说明和可Neng影响。

它让模型从“执行者”退回到“建议者”。

不对。确认只是执行前边界，审计日志是执行后追溯。

function checkPermission { if ) { return null; } return { ok: false as const, errorType: "permission_denied", message: `缺少权限：${tool.requiredPermission}` };}

这才是可靠边界。

安全版 runTool 应该像一个执行网关。

不要因为前端传了 confirmed: true 就执行。

比如：

不够。Prompt 是软约束，权限和确认必须在程序层实现。

需要通过 confirmationId幂等 key 或业务单号防止重复执行。

不要把只读工具和写入工具混在一个默认可执行池里。

Agent 真正进入业务系统后Zui大风险不是它不会调用工具，而是它太容易调用工具。查询订单、搜索政策这类只读工具Ke以相对宽松，但取消订单、发起退款、修改权限、发送邮件这类有副作用的工具，必须经过 道闸门：权限检查、风险分级、用户确认。模型Ke以提出动作建议，但程序必须掌握Zui终执行权。

高风险工具通常会改变真实业务状态：

没错，Agent 进入业务系统后它就是后台系统的一部分。

这时候，一个hen自然的问题会出现：

帮我取消订单 A1001。

帮我给用户发一封延迟补偿邮件。

帮我把这张工单升级成 P0。

但从工程安全上说必须非常谨慎。

hen多人会在 Prompt 里写：

这份清单听起来hen像后台系统安全规范。

程序才是Zui后的把关者。

重点是：高风险操作不Neng直接消失在模型输出和工具执行之间。

建议记录参数摘要、脱敏字段或哈希。

Zuo到第 篇，我们的 Agent Yi经有了不少工程Neng力。

而操作系统必须有权限、确认和审计。

Ru果用户没有权限，不要调用取消订单工具。遇到高风险操作时要谨慎。

这有帮助，但不够。

中风险工具通常会创建记录，但影响可控：

这是让 Agent 进入真实业务时不乱来。

权限检查、风险分级、二次确认必须是程序层硬约束。

不Neng靠模型自觉来保护系统安全。

所以先建立一个原则：

type ToolCall = { toolName: string; args: Record; confirmationId?: string;};type SafeToolResult = | { ok: true; toolName: string; data: unknown; } | { ok: false; toolName?: string; errorType: | "unknown_tool" | "permission_denied" | "confirmation_required" | "tool_error"; message: string; confirmation?: ConfirmationRequest; };async function runToolSafely: Promise { const tool = toolRegistry; if { return { ok: false, toolName: toolCall.toolName, errorType: "unknown_tool", message: `未知工具：${toolCall.toolName}` }; } const permissionError = checkPermission; if { return { ...permissionError, toolName: tool.name }; } const needsConfirmation = tool.requiresConfirmation && ); if { const confirmation = createConfirmation; return { ok: false, toolName: tool.name, errorType: "confirmation_required", message: confirmation.message, confirmation }; } try { const data = await tool.handler; return { ok: true, toolName: tool.name, data }; } catch { return { ok: false, toolName: tool.name, errorType: "tool_error", message: error instanceof Error ? error.message : "工具执行失败" }; }}

这就是 Agent 的安全执行层。

---