得物App的智Neng巡检技术探索，咱就是说真的hen有必要哈，因为现在App上的各种场景体验问题变得愈发重要。

传统的自动化测试方法Yi经不Neng满足需求了你懂的，所以我们开始尝试利用AI模型来进行智Neng巡检。

随着得物App各业务功Neng的丰富和升级，用户在App内体验的内容和活动逐步增多，在这种情况下App使用过程中的体验问题变得愈发重要。

说实话，在整个功Neng研发流程中，App端的测试时间相对有限，对于App上的各种场景的体验问题无法实现完全的覆盖。

传统的UI自动化回归无法全面满足应用质量保障的需求，尤其是在涉及页面交互和用户体验等较为主观的问题时往往只Neng依赖于测试人员手动体验相关场景来进行质量保障。

整体测试效率较低，害，所以我们需要一种geng高效的方式来保障App的质量。

我们通过将现有的技术平台进行整合，基于视觉语言模型，开展场景化的智Neng巡检探索与实践。

这种方法在多种任务场景下均Neng有效识别应用中的问题，相较于之前的方案，智Neng巡检整体的问题识别准确率从50%提升到80%，整体图片相似度匹配准确率从50%提升到80%以上。

在首次会场AI走查的过程中，共发现17个配置问题，AI问题发现率达95%，咱就是说这个效果还是hen不错的哈。

智NengUI自动化架构图如下我们采用了AI模型完成操作分析和UI自动化框架完成操作执行的方式。

AI操作

def aitap: screenshotbase64 = self.getresizedscreenshotasbase64 ret = { "screenshot": screenshotbase64, } prompt = Tap.getprompt resobj = self.chatclient.chat if "errors" in resobj and resobj: ret = False ret = resobj else: x, y = self.getcenterpoint self.click ret = {"x": x, "y": y} ret = True ret = "" return ret

基于AI实现自然语言描述到实际操作的方式，我们参考业界一些实践的例子和开源的方案，Zui终采用AI模型完成操作分析和UI自动化框架完成操作执行的方式。

我们设计了一套页面展示一致性检测功Neng，用于检测多级页面中的UI信息展示是否符合预期标准。

页面展示一致性检测流程

针对此类页面结构布局问题，传统的自动化手段一般缺乏一个统一的判断标准，因此无法在不同页面场景下应用，使用的维护成本也比较高。

由于页面现场图片包含了大部分的有效信息，我们这里尝试将整体的页面信息提供给AI模型，让模型基于特定的规则来自动理解图片内容，并基于需要的检测规则来进行问题校验。

基础规则配置

对于上述不同的检测类型和功Neng，在巡检平台上Ke以进行目标检测规则的创建和管理，所有的巡检场景和任务Ke以共同使用这些规则。

配置项

侧重于对页面中展示元素的校验，一般包括所有页面元素的检验，文字相关校验的校验同样包括在内，但侧重点权重有所不同，结果会基于AI理解页面后产生，通常用于元素、图标、页面交互等丰富的页面场景。

常规任务

独立路径校验操作

前置操作

def checkoperationvalid(screenpathbefore, screenpathafter, curops, screenosspathbefore, screenosspathafter): try: import cv2 import numpy as np imgbefore = cv2.imread imgafter = cv2.imread if imgbefore is None or imgafter is None: raise RuntimeError # 确保两张图片大小相同 if imgbefore.shape != imgafter.shape: imgafter = cv2.resize) # 转换为灰度图 graybefore = cv2.cvtColor grayafter = cv2.cvtColor # 计算直方图 histbefore = cv2.calcHist histafter = cv2.calcHist # 归一化直方图 histbefore = cv2.normalize.flatten histafter = cv2.normalize.flatten # 计算相关系数 correlation = cv2.compareHist # 计算卡方距离 chisquare = cv2.compareHist # 计算交集 intersection = cv2.compareHist # 设置相关系数阈值，超过此阈值视为两张图一致 threshold = Thres thresholdchisquare = Threschi if correlation> threshold and chisquare chi_square and intersection> threshold: raise RuntimeError except Exception as e: raise e

.点击操作实现，不对不对，这里应该讲讲结果展示才对～

.嗯嗯，对了在对应测试记录的执行详情里一般会展示以下关键的信息：.

.Zui终的分析结果依赖多级页面的现场截图信息和规则进行校验和对比，Zui终得到整个多级页面场景下的一致性分析结果。你kan，这个过程还是挺复杂的哈～.