阿里控股-全栈研发工程师-杭州
Alibaba Group
Job Description
1、评测与反馈平台研发:负责大模型评测与数据反馈平台的设计与开发。围绕任务构建、人工评测、模型对比及Badcase收集归因,打通“评测发起-反馈分析-迭代验证”的完整数据闭环,提升模型迭代效率。
2、自动化评测框架(Harness)建设:设计与研发高并发、高可靠的自动化评测底座。实现运行环境(Sandbox)自动配置、多端调度、任务自动质检,以及模型执行轨迹(Trajectory)、环境信息与最终产物的全链路采集,支撑复杂评测任务的高效评估。
3、Badcase复现与Benchmark沉淀:建设线上真实Workspace与Badcase的采集、快照及复现机制。从真实业务场景中提炼高价值案例,构建高区分度、可复现的评测集,推动动态高质量Benchmark的自动化沉淀。
4、前沿评测机制探索与落地:主动探索大模型评测新范式(如Arena盲测对战、线上影子链路Shadow Mode、LLM-as-a-Judge等),将前沿评测方法转化为工程工具,并持续量化验证其对模型演进的收益。
5、跨团队协同与业务赋能:紧密协同算法、数据及运营团队,对齐模型演进目标与评测验收标准。以工程化手段驱动模型能力提升,推动方案高质量落地,持续跟踪实际效果,对最终业务目标负责。
1、背景与经验:计算机、软件工程等相关专业本科及以上学历,3年以上后端或全栈研发经验;具备大规模分布式系统、研发效能平台或AI工程平台开发经验者优先。
2、扎实的工程研发能力:精通至少一门主流后端语言(如 Python / Go / Java),具备良好的系统架构设计与高并发处理能力;熟悉现代前端技术栈(如 React / Vue / TypeScript),具备独立交付高质量全栈平台的能力(或极强的后端能力配合基础前端开发)。
3、沙箱环境与自动化底座经验:熟悉 Docker、Kubernetes 等容器化与云原生技术,有代码沙箱(Sandbox)、虚拟化隔离环境、环境快照与复现(Workspace Snapshot)构建经验;熟悉分布式任务队列与多端调度机制(如 Celery、Temporal、Argo 或自研调度框架),接触过浏览器/终端/GUI自动化技术(如 Playwright等)。
4、大模型与评测领域认知:深入理解大模型(LLM)及 Agent