股票
板块
用户
资讯
首页
天眼
自选
发现
开户
首页
天眼
自选
发现
我的

GUI任务操作轨迹数据集|让每一步操作都有上下文

当前多模态大模型正从GUI(图形用户界面)界面理解阶段进阶到端到端任务执行阶段,模型能否精准识别界面元素、合理规划操作路径、连续完成交互任务,已经成为GUI智能体训练、GUI自动化测试、桌面交互算法优化等领域的核心研究问题,而高质量GUI轨迹数据集,正是支撑所有相关技术突破与落地的重要基础。

目前,不少GUI数据仍集中于网页端或简化环境,操作路径较短,真实软件和复杂任务覆盖有限。面对跨应用切换、多步骤决策和长链路执行,仅依靠单张截图或孤立操作,难以还原完整的任务过程。

针对这些需求,我们构建了GUI任务操作轨迹数据集,以真实操作环境中的连续轨迹为核心,记录任务执行过程中的界面状态、操作动作及前后关系,为GUI Agent训练、GUI自动化测试和算法评测提供数据支持。



把完整任务过程记录下来

GUI任务操作轨迹数据集累计包含4万步GUI操作数据,覆盖PC端,单条轨迹长度为15至50步。数据保留真实软件环境中的连续操作,并按照统一结构完成采集和标注,可用于GUI自动化测试、模型训练和算法优化。

这套数据的重点不是增加孤立的点击样本,而是把任务执行过程中出现的界面、动作和前后关系完整记录下来,使每一步操作都处在明确的上下文中。



数据集如何还原完整操作过程01时序化轨迹组织

数据按照操作发生的先后顺序组织。每一步包含界面观测与动作决策,前一个动作产生的界面变化会成为下一步操作的依据,最终形成连续的状态转移序列。15至50步的轨迹可以覆盖不同复杂度的任务,并支持策略学习、行为克隆和长序列依赖建模。

02更全面的JSON结构化标注

数据采用统一的JSON结构,对操作类型、目标区域、输入参数和时间信息进行规范化表达,并记录各步骤之间的顺序关系。通过截图路径索引,每一步界面画面都能与对应的操作事件准确匹配,便于还原完整轨迹,也为视觉信息与操作行为的对齐提供基础。

03自动化采集与质量控制

数据集依托自研采标平台构建,支持全流程自动化采集和行为标注。操作捕获、界面截图与轨迹标注在统一平台中完成,完整记录多应用交互过程,并从数据生产环节控制真实性、完整性和规范性。



应用方向与场景覆盖

GUI任务操作轨迹数据集可用于GUI自动化测试、GUI Agent模型训练、策略学习、行为克隆、长序列建模和算法评测。多步骤轨迹可以帮助研发团队分析模型在界面理解、动作选择和连续执行过程中的表现。

数据来源覆盖浏览器与信息检索、办公、电商与本地生活、系统设置与工具、社交与内容、地图与出行、开发者工具/终端/代码相关、多媒体/娱乐八大场景,并包含多应用联动、跨程序跳转和数据互通等复合交互。

面向GUI Agent训练、自动化测试与算法优化需求,这套数据可减少重复的数据采集、场景搭建和格式整理工作,为模型训练、能力评测与持续迭代提供统一的数据基础。



END



欢迎联系我们,了解更多内容

电话咨询:400-679-7787

邮件咨询:contact@dataoceanai.com




公司简介

海天瑞声(股票代码:688787)是一家专注人工智能基础数据解决方案提供商,是国内唯一一家AI数据行业上市公司。已服务超1200家全球AI企业及科研机构,主要为大模型、多模态、语音合成、语音识别、自然语言处理、计算机视觉等技术提供一站式AI数据解决方案。



原文链接
多空观点 观点仅供交流,不构成投资建议
点赞
踩一踩
收藏
分享

评论 (0)

0/200
声明:社区内容仅代表用户个人观点,不构成任何投资建议。投资有风险,入市需谨慎。