千问事业部-大模型评估算法负责人（Agentic 方向）-杭州/北京

负责大模型评估方向的技术规划与体系建设，围绕真实用户需求与复杂专业任务，建立贯通**基座模型、Agent 系统与产品效果**的评估体系。以可信、可解释、可行动的评估结论，牵引模型从对话生成向复杂长程任务执行演进，推动训练优化、系统迭代与用户价值提升形成闭环。

岗位职责
1. 制定评估战略，牵引能力演进
结合模型技术路线与产品发展目标，定义核心能力地图、评估标准和阶段性目标。建立从基础能力到真实任务表现的分层评估体系，识别能力瓶颈与投入优先级，为训练规划、技术选型和版本发布提供依据。
2. 建设面向复杂长程任务的 Agent 评估体系
围绕典型用户场景与专业工作流，建设可执行、可复现的任务集与评测环境。重点评估需求澄清、规划决策、工具使用、上下文与记忆管理、人机协作、异常恢复和交付验证能力，综合衡量任务成功率、交付质量、执行成本与可靠性。
3. 打通评估、训练与产品改进闭环
联合训练、数据、Agent 系统和产品团队，将线上真实问题与任务失败轨迹转化为能力诊断、训练数据需求及系统改进方案。建设过程评估与结果评估相结合的反馈机制，为 SFT、强化学习及 Harness 优化提供高质量信号，并通过独立评测验证改进收益。
4. 建设规模化评估平台与数据资产
主导评测任务、交互环境、专家标注和执行轨迹的资产化建设，推动自动化运行、失败归因、回归验证与版本追溯。支持多轮交互、动态环境和长程执行，形成可持续扩展的评估基础设施。
5. 保障评估可信，建立线上线下一致性
系统解决评测集污染、指标饱和、裁判模型偏差、奖励投机及分布偏移等问题。建立专家评审、人机一致性校验和统计置信度标准，验证离线评估与线上任务完成、用户满意度等指标的关联，避免能力提升停留在分数层面。
6. 牵引跨团队决策与团队建设
组织模型能力评审、竞品对标及重大版本发布评估，清晰说明收益、风险与适用边界，推动结论转化为研发行动。建设评估算法与工程团队，形成兼具研究深度、工程落地能力和业务判断力的技术梯队。

1. 硕士及以上学历，计算机、人工智能、数学、统计学等相关专业。
2. 5 年以上机器学习或人工智能相关经验，其中至少 2 年大模型训练、评估或 Agent