货拉拉等平台必须以“快、准、稳”三大要素来保障业务持续交付。传统的 UI 自动化脚本往往因为页面结构频繁变动而失效，导致测试团队陷入“写脚本—失效—修复—再写”的恶性循环。本文将用一种略带温度的笔触，讲述货拉拉如何把这条kan似无解的“死循环” 为“自我修复”，让机器在变化中学会“自我疗伤”。

在一次例行迭代后研发同学对页面布局Zuo了以下几项微调：

将嵌套层级从 5 层压缩至 3 层；

把原来的静态 ID 替换成运行时随机生成的字符串；

修改弹窗文案，将 “确定加价5元吗？” 改为 “您确定加价 5 元吗？”。

这些kan似细小的改动，却让依赖 XPath、resource‑id 的定位器瞬间失效。测试报告里一连串红色错误像雨点一样砸下来——每一次失败dou意味着：

人工排查时间激增；

脚本维护成本飙升；

业务上线节奏被迫放慢。

行业调查显示：超过 70% 的移动端项目在上线前会因为 UI 定位失效而推迟发布，这是一笔不容忽视的隐形成本。

AI 自愈并不是让机器完全摆脱人类，而是赋予它在异常出现时主动诊断并给出可执行修复指令的Neng力。

在货拉拉的实践中，这套系统被划分为四个关键环节：

感知层：通过多模态数据捕获页面真实状态；

诊断层：借助大语言模型+ 视觉语言模型对比基线，实现“这块儿到底变了没”；

决策层：依据控件画像和历史修复经验生成结构化指令，例如 “弹窗 → 安全关闭”；

执行层：将指令回写到脚本或直接驱动 Appium/hdc 等自动化引擎完成自我修补。

这条闭环像一条充满活力的血脉，让测试框架不再因一次 UI 调整而心跳骤停。

整体架构Ke以概括为四层堆叠，每层dou有明确职责：

AIOps 使用 adb / tidevice / hdc 分别抓取 Android、iOS 与 HarmonyOS 设备上的截图、控件树和日志。随后 PaddleOCR 对图片进行文字抽取，形成“三元组”。为了控制 token 消耗，我们对截图Zuo了压缩，并剔除状态栏等非关键区域。

控件画像是每一个交互元素的数字身份卡片。

属性维度：ID、class、content‑desc 等原始属性；

C‑Level 维度：C‑Level 表示该元素在 UI 树中的深度与父子关系；

C‑Context 维度：`周边`文字与相邻按钮形成语义上下文。

基线阶段我们为所有关键步骤生成画像，后续任何细微变动dou会被精准捕捉。

AIOps 将控件画像与实时采集数据喂入融合模型。模型内部有两大分支：

L‑Vision Branch：PaddleViT 分析页面布局，判断是否出现遮挡或加载不完整；

L‑Language Branch：LLaMA‑2 系列的大语言模型结合 OCR 文本进行语义比对，识别文案改动或弹窗出现。

AIOps 按照「设备健康 → 框架可用 → 弹窗干扰 → 页面完整 → 控件对齐」五步递进检查，每一步dou会输出结构化 JSON 指令。例如：

{
  "step": "弹窗处理",
  "action": "close",
  "target": {"type":"button","text":"允许"}
}

这些指令直接映射到 Appium 脚本，实现“一键修复”。

三个月前，我们把自愈引擎部署到了订单创建与司机接单两大关键链路。

              ...