前言

一篇关于构建提升GUI智能体能力的数据集的文章，文章提到的关于提升GUI能力的三个点听起来还是比较合理的，此外，数据集的数量非常丰富，比起一些benchmark只提供几百条数据显得很有诚意。总的来说是关于提升GUI智能体能力的一个比较有想法的工作。

Paper	https://arxiv.org/pdf/2406.11317
Github	https://github.com/yiye3/GUICourse

Abstract

VLMs的进步得以帮助人类完成GUI任务，然而，现有的VLMs受到基础能力(OCR & grounding)以及GUI知识方面的挑战，这阻碍了它们成为实用的GUI智能体。为此，本文提出GUICourse，用于训练基于VLMs的GUI智能体的数据集。首先，作者提出GUIEnv数据集来增强VLMs的OCR和grounding能力。接着，作者提出GUIAct和GUIChat数据集用于增强GUI组件和交互的知识。实验证明基于本数据集的GUI智能体在通用的GUI任务上有更好的表现。最后作者通过消融实验分析了不同的变体。

Motivation

现有关于GUI智能体的工作可以分为基于文本和基于视觉的。基于视觉的智能体有两点优势：

1. 容易获取（直接截图）。
2. 具有可迁移性（GUI视觉元素相似）。

然而基于视觉的智能体严重依赖VLMs的基础能力和内部知识，但是当前VLMs有如下问题：

1. grounding能力不足以定位GUI元素。
2. 对GUI图标的理解不够。

Solution

因此，为了提高当前VLMs的基础能力和GUI知识，本文提出GUICourse，包含了三个数据集：

• GUIEnv： 10M website page annotation pairs作为预训练数据，0.7M region-text QA pairs作为SFT数据。目的是增强VLMs的grounding能力。
• GUIAct： 67K单步和15K多步动作指令，增强VLMs的GUI知识。
• GUIChat： 44Ksingle-turn QA pairs和6k multi-turn dialogues with text-rich images and bounding boxes，提升GUI智能体的交互能力。

基于上述数据，作者对一些VLMs进行训练，在多个数据集上都取得了明显提升。消融实验也证明GUIEnv数据集对提升VLMs的grounding能力是有帮助的。

GUICourse

GUIEnv

OCR和grounding是GUI 智能体的基础能力，本数据集是为了增强VLMs的这两方面能力。

GUIEnv-global

• 描述：每个样本是一个长文本，包含一张页面上所有可描述的内容。
• 收集方式：从C4收集4M URLs，部署Playwright得到10M标注后的网页截图。

GUIEnv-local

• 描述：每个样本是一个region的QA对，text2bbox或者bbox2text。
• 收集方式：
  • 裁剪成小于1920×1080的分区。
  • 删除元素少于10个的截图。
  • 随机选取10个带有文本和位置的元素作为text2bbox和bbox2text的任务数据。

GUIAct

GUI元素的功能和控制方法对于GUI智能体来说非常重要，为此需要一个数据集来增强VLMs的GUI知识。GUIAct涉及网页和手机两个场景，分为三个不同partition：web-single，web-multi 以及 smartphone。

GUIAct (web-single)

• 描述：每个样本由一个任务的自然语言描述，页面截图以及对应操作元素的bbox。
• 收集方式：
  • GPT-4汇总不同场景的网址，利用超链接进行扩展，获得50个域名和13k个网站。
  • 使用网页快照工具获取HTML、交互元素以及截图。
  • 使用GPT-4V获取每个网页的单步指令动作对，得到70K个数据。
  • 人工检查GPT-4V的标注结果，将准确率从55%提升到92%。最后得到76K数据。

GUIAct (web-multi)

• 描述：每个高级指令对应多跳操作，每一跳操作对应一个网页截图和对应的操作指令。
• 收集方式：
  • 收集八个场景的121个网页。
  • 使用GPT-3.5和Claude2为每个网页生成指令，得到8K条high-level指令，每条指令都需要与网页进行多步交互。
  • 开发了一个在线标注插件工具，雇佣标注人员执行操作完成相应指令。最终得到5696条多跳指令，相当于44K个训练样本。

GUIAct (smartphone)

• 描述：样本样例如下：
  
• 收集方式：AITW的子集，选取“General”标签数据并筛选掉没有底部导航栏的截图，得到9157个多步操作，对应67K个训练样本。

GUIChat

自然语言交互对更好使用智能体很重要，因此在智能体训练阶段有必要融合对话数据。GUIChat数据集包含大量富文本的网页截图，包括44K个单轮QA对和6K个多轮对话。

• 描述：每个样本包括截图，人类对话，以及GPT生成的关于截图上对应对话内容的描述。如果是多轮对话，就是一张截图，然后多轮的人类对话和GPT生成的截图上对应对话的内容。
• 收集方式：
  • 使用Playerwright得到网址截图。
  • 从DOM tree中抽取必要的结构化和文本信息。
  • 利用GPT-4根据抽取的文本信息构建问答对。

Experiments

Main Result

对多个GUI智能体在GUICourse上进行训练，在常规GUI任务包括Mind2Web，AITW上进行评估。结果如下：


结果表明，GUICourse可以帮助GUI智能体得到比baseline更好的性能。

Ablation Study

本小节涉及两个消融实验，第一个消融实验通过调节GUIEnv-global数据的数量，来分析MiniCPM-GUI的性能。第二个实验以通用的VLM MiniCPM-V为基线，依次添加GUIAct、提高分辨率、混合GUIChat数据集。结果如下表所示：

1. GUIEnv数据集对提高VLM的基本能力和GUI导航能力很有用。其中从没有GUIEnv，到使用2.5M GUIEnv数据，性能提升是显著的，说明GUI grounding是必要的。
2. 高分辨率对GUI导航任务非常重要，在 web-single 和 smartphone 任务上有巨大提升，但是 web-manual 上没有提升，可能对于复杂指令和环境来说，只是提升分辨率是不够的。
3. GUIChat数据集对于网页场景有效。

之后作者又做了一些case study如下：

Conclusion

本文构建了GUICourse数据集，帮助提升GUI智能体的grounding能力，GUI知识以及GUI的交互能力。实验结果表明了数据集的有效性，消融实验也证明了数据集有助于提高GUI导航能力。
这篇工作思路非常清晰，故事浅显易懂，直接点明当前GUI在grounding、GUI知识以及交互能力上的不足。但是这篇工作我读下来还是有一些问题：

1. 虽然这些点看起来合理且显而易见，但是作者并没有实验去说明这些问题，也就是说，这几个问题的论据不足，只是读起来合理。
2. 实验部分的提点不高，让我对数据集的可靠性产生了怀疑，GUIEnv数据集没什么问题，提高grounding能力在很多文章都证明是有效的，但是GUIAct和GUIChat数据集到底有没有作用文中并没能够证明，估计是缺少相应的数据集来验证吧。
3. 大量的QA任务作为预训练数据，可能并不是特别适合GUI智能体学习新知识，个人拙见。
4. 文章中错字，数据错误较多，可能因为工作比较赶吧。