。

这些智能体可理解自然语言指令，处理复杂GUI元素并执行操作，改变了用户与软件交互方式。

论文旨在梳理该领域发展脉络，剖析关键要素，…智能GUI

研究背景与目的：GUI长期主导人机交互，LLM特别是多模态模型的出现，为GUI自动化带来变革，催生了基于LLM的GUI智能体。

这些智能体可理解自然语言指令，处理复杂GUI元素并执行操作，改变了用户与软件交互方式。

论文旨在梳理该领域发展脉络，剖析关键要素，明确研究问题，指出研究空白并规划未来发展路径，助力科研人员和从业者挖掘其潜力。

核心原理：LLM凭借强大的自然语言理解能力，将用户的自然语言指令转化为可执行的任务描述。

多模态模型进一步融合视觉信息，使其能够理解GUI界面中的图像、布局等元素。

通过代码生成技术，智能体将任务描述转换为操作GUI的代码，如模拟点击、输入文本等。

这些代码在自动化框架支持下，实现对各种软件（网页、移动应用、桌面程序）的自动操作。

例如，当用户说“在购物APP中搜索红色运动鞋并加入购物车”，GUI智能体的LLM理解指令，多模态能力分析APP界面，生成点击搜索框、输入“红色运动鞋”、点击搜索按钮、选择商品并点击加入购物车的代码，实现自动化操作。