Token Foundry-大模型强化学习基础设施工程师 (Code Agent / RL Infra方向)-北京/杭州

Alibaba Group

📍 Beijing, Hangzhou, China On-Site ⏳ 17h ago
AI assistant

Job Description

负责面向 Code Agent 的强化学习基础设施研发与创新,推动训练平台从传统 Post-Training 向长程交互、复杂工程任务和 Agent 持续进化演进。围绕弹性训练引擎、白盒 Agent Runtime、原生百万上下文 RL 及大规模多任务混训,构建覆盖任务生成、Rollout、Reward、Training 与独立评测的完整闭环,在千卡/万卡集群上持续提升训练效率、稳定性与模型能力。
1. 研发弹性 RL 训练引擎。 基于 Gyre、verl、SGLang 等训练与推理框架,构建面向 Agent 训练的统一调度体系,将 Student Rollout、Teacher 推理与 Training 纳入动态资源调度和角色切换机制,支持 RL 与 OPD 工作流,减少 GPU 空闲,提升端到端训练效率。
2. 构建面向 RL 的白盒 Agent Runtime。支持长程代码任务、多轮交互与动态需求,将系统提示词、工具、上下文、记忆和终止策略模块化。建设统一轨迹协议,完整记录模型输入输出、logprob、策略版本与工具结果,准确区分生成 token 和工具观测的训练 mask,支持轨迹重放、奖励复算和失败归因。
3. 攻克原生百万上下文 RL 的系统瓶颈。围绕长轨迹采样、logprob 计算和反向训练,优化显存、通信与计算开销,探索选择性重计算、Activation Offload、树结构轨迹复用、紧凑数据协议及计算通信重叠等方案,将长上下文能力转化为实际任务收益。
4. 建设超大规模多任务混训流水线。面向超大规模多任务混训场景,解决不同任务在上下文长度、Rollout 耗时和资源需求上的差异,优化长尾请求调度、训练组批、策略版本追踪与滞后控制。结合低比特权重、KV Cache 量化与投机解码提升推理并发,并通过数据版本、采样配额和混合比例管理,保障各类能力的训练覆盖。
5. 构建可验证的数据、奖励与评测闭环。建设统一、可组合的 Reward 系统,支持代码测试、规则检查、Reward Model 与成本惩罚,组合 Step-level 和 Trajectory-level 奖励。围绕真实基础设施的 Debug、功能开发和性能优化任务,完善可复现环境、独立评测与失败反馈机制,推动高质量任务和训练数据持续迭代,监控并抑制