阿里控股-GUI 数据工程师-杭州
Alibaba Group
Job Description
1:设计并开发 GUI Agent / Computer Use 场景下的数据自动构造与合成管线,涵盖截图、控件树、页面状态、操作动作、多步轨迹、执行结果及失败恢复等数据,支持桌面、Web、移动端及专业软件等多种环境,实现大规模、高质量训练数据的自动化生产。
2:与算法、评测团队紧密协作,深入理解模型训练、后训练及评测数据需求,将 GUI理解、控件定位、动作规划、多步执行、错误恢复等需求转化为清晰的数据格式定义、标注规范、示例库及验收标准,并持续迭代优化。
3:开发数据质量保障工具链,包括自动化校验脚本、可视化 Debug 工具和持续集成流水线,确保数据在图像清晰度、控件准确性、状态完整性、动作合法性、轨迹一致性、结果正确性及任务可复现性等方面满足质量标准。
4:搭建和维护数据标注平台及众包管理工具,支持内部标注团队、外包供应商及自动化标注的协同,建立金标、抽检、复审、争议仲裁和版本管理机制,平衡数据生产的质量、效率与成本。
5:承接模型评测及线上 BadCase,对错点、漏步、循环操作、错误停止、越权操作和失败后不可恢复等问题进行归因分析,设计成功与失败对比、纠错、偏好及恢复数据方案,推动模型效果持续改进。
6:建立 GUI 数据安全与合规机制,协同安全、法务和工程团队,落实数据采集授权、屏幕内容脱敏、账号隔离、个人信息清洗及高风险操作审计等要求,确保数据生产全链路安全合规。
7:跟踪业界前沿 GUI Agent 评测集(如 MobileWorld、AndroidDaily、OSWorld 等),构建内部复杂 GUI 轨迹评测数据,并探索基于模仿学习、强化学习、过程监督等方向的数据需求,持续提升数据对模型能力的支撑效果。
1:计算机相关专业本科及以上学历,3 年以上数据工程、工具开发或相关领域经验,有 GUI 自动化、RPA、浏览器/移动端自动化测试或数据标注平台开发经验者优先。
2:精通 Python / Java 等至少一门编程语言,具备扎实的工程能力,能够独立设计并实现数据生成、清洗、校验、可视化等工具链。
3:熟悉 GUI 相关技术栈,如 Accessibility Tree、DOM、Appium、Selenium、Playwright、Android Debug