凌晨两点，线上客服机器人开始批量答非所问。你打开可观测性网站，看到了完整的请求链路：使用者问题、检索到的知识库片段、工具调用参数、模型输出、token、耗时、错误栈，一切都很清楚。

接下来你突然发现。trace 里还有使用者手机号、合同编号、内部工单备注、某个工具调用的临时 token，甚至有一段被 RAG 捞出来的客户私有文档。按理说，

这就是 LLM 应用和传统 Web 服务最大的区别：传统日志通常记录“谁在什么时候调了哪个接口”；LLM trace 记录的是“模型当时看见了什么、想了什么、调用了什么、回答了什么”。它不是普通日志，而是一次推理现场的录像。

如果你只关心排障。最简单的做法当然是全量上报：prompt 原文、completion 原文、retrieval context 原文、tool arguments 原文，统统扔进观测网站。问题是一旦这样做，trace 网站就变成了第二套影子数据库。而且这套数据库通常没有业务库那样严格的字段权限、脱敏策略、生命周期和审计流程。

这篇文章讨论一个很工程化的问题：怎样设计 LLM trace。让它既能排障、回放、做 eval，又不要把使用者隐私和公司知识资产长期裸奔在日志里。

. 为什么 LLM Trace 比普通日志更危险

很多团队在上线后发现敏感数据已被记录到 trace 中，导致合规风险和客户投诉。普通 API 日志里最敏感的通常是 header、cookie、使用者 ID、请求体里的少数字段。团队会有一套固定处理：access log 不打 body。错误日志屏蔽 token，数据库慢查询只存 SQL 模板。按理说，

• 从使用者输入来看。自然语言里很容易夹带手机号、邮箱、地址、身份证、订单号、合同号。
• 从程序上下文来看，system prompt 、业务策略 、风控规则 、内部 SOP。
• RAG 检索结果：公司知识库 、客户材料 、售后记录 、文档片段。
• 再看工具调用参数，使用者 ID 、订单 ID 、支付单号 、第三方 API 参数。
• 再看模型输出。可能复述了敏感信息，也可能把工具结果拼进回答。
• 说到元数据，tenant 、环境 、功能开关 、模型 、成本 、trace id 、session id。

做 Agent 后风险还会放大。Agent 不是一次请求就结束，它会在循环里不断累积消息历史、工具结果、中间计划和失败原因。话说回来，Context engineering 的主要是管理“模型下一次推理能看到什么”。而 trace 往往会把这些上下文都记录下来。说白了trace 数据的敏感面约等于模型上下文的敏感面。

这也是为什么“上线后再补脱敏”通常来不及。老实说，只要第一批生产 trace 已经裸奔写入网站。你就需要面对存量数据清理、备份清理、更改权限追溯和人员访问记录。怎么说呢，工程上，最便宜的做法永远是在数据离开业务进程前处理掉。

. 先给字段分级，不要一上来写正则

很多团队做脱敏的第一反应是写一堆 regex：手机号替换成 ***。邮箱替换成 ***@***，API key 替换成 . 这有用，但不够。

再看原因很简单。LLM trace 里的敏感性不只来自字符串形态，还来自字段语义。一样是 id=。如果它是本地测试 case id,问题不大；其实，如果它是租户 ID,订单 ID,支付流水 ID,就可能需要保护。一样是一段普通中文，如果来自公开帮助文档，风险低；如果来自客户上传合同,风险高。怎么说呢，

I 更推荐先做字段分级。再做规则.

注意这里有一个关键点：: P3 才是可观测性最稳定、更应该保留主要。当团队开始这样设计 trace 时可以让排障保持稳定，同时避免泄露过多隐私信息。说起来，许多排障并不需要完整使用者原文，只需要知道 “哪个版本？哪个模型，哪个 prompt？检索了几个 chunk，topK 多久？” 等关键信息就可以完成故障定位，而不是完整复制每一次输入与输出给自己使用的人员之手..

真正需要原文场景，应进入更严格 debug 通道。而不是默认长期留在所有 trace 中..

. 三个脱敏时机：入口:    

1. 入口层 ：业务请求刚进入 LLM pipeline 时识别明显凭证和 PII，生成 safe_input。 该阶段可以拦截常见错误，如将 API key 或登录 Token 写入日志中导致外部攻击者利用重放攻击获得访问权限，从而降低整体安全风险。
2. Span 建立层 ：每个步骤写 trace 时只允许写入 schema 白名单字段，这样可以避免开发者随意把原始 prompt 或响应注入 span 属性中。
3. Export 前 ： 在 span SDK 或 OpenTelemetry exporter 发出前 检查并修正任何未预期的数据，例如某些第三方 SDK 默认采集 request body 并发到监控网站。

• 入口层适合处理业务语义。如 “这个 tenant 是金融客户”，默认不保留原文本。
• Span 建立层适合强约束开发者行为，以免有人随手 `span.setAttribute)`。
• Export 前适合兜底第三方 SDK 自动采集字段，例如某些 LLM SDK 会把 prompt 或 completion 按标准属性写进 span。
  • 领域变化方向表明脱敏应该尽量发生在数据离开应用之前。

• Test your pipeline by sending a request containing an API key and confirm it never appears in exported traces.
• Review third‑party SDK docs – many expose “exporter hooks” that let you mask sensitive fields automatically.
• If you don’t see such hooks available,consider adding a wrapper layer yourself .

type Sensitivity = "P0" | "P1" | "P2" | "P3";type RedactPolicy = {
tenantId:string;keepRawInput:boolean;hashSalt:string;maxTextLength:number;}，type RedactResult={
safe的观点是，T;findings:Array<{
   path:string;
   level:Sensitivity;
   rule:string;
 }>;}，const RULES:Array<{
 name:string;
 level:Sensitivity;
 pattern:RegExp;
 replace:=>string
}>={,}\\b/g,replace:=>""},{name:"phone_cn",level:"P1",pattern:/\\b1\\d{}\\b/g。replace:=>`${v.slice }****${v.slice}`},{name:"email",level:"P1",pattern:/+@+\\.{,}/gi,replace:=>{
const =v.split;return `${name.slice }***@${domain}`;}},{name:"id_card_like",level:"P1",pattern:/\\b\\d{}\\b/g。replace:=>`${v.slice }**********${v.slice}`}
];function stableHash:string{
// 示例：生产里请换成 crypto.createHmac
let h=;const s=`${salt}:${input}`;for{
h ^= s.charCodeAt;h += + + + +
}
return `hash_${.toString}`;}
function redactText{
let output=text;const findings:Array<any>=;for{
output=output.replace=>{
findings.push;return rule.replace;})，}
if{
findings.push;output=`${output.slice policy.maxTextLength)}...`;}
return{output,finding :findings};}
function redactObject:RedactResult{
const findings:Array<any>=;怎么说呢，if{
const r=redactText;return{safe:r.output,finding:r.findings};}
if){
const arr=value.map=>{
const r=redactObject;findings.push;说起来，return r.safe;}
)，return{safe:arr,finding :findings};}
if{
const input=value as Record<string,unknown>;const out:{:unknown}={};for){
const lower=key.toLowerCase;// 字段语义优先：
if)){
out="";说起来，findings.push;continue，}
// 高基数字段做稳定哈希
if){
out=stableHash,policy.hashSalt);findings.push;老实说，continue;}
const r=redactObject;out=r.safe，findings.push;}
return{safe :out,finding :findings};}
return{safe:value,finding :};}