阿里云智能-多模数据湖计算引擎与数据算法专家-杭州/北京
Alibaba Group
Job Description
关于我们
ApsaraLakebase 是阿里云数据库团队重点打造的多模态数据湖产品,为图像、音视频、点云、轨迹及结构化数据提供统一的存储、管理与计算能力,服务具身智能、智能驾驶等领域的头部客户。你将处理 PB 级真实生产数据,研发多模态数据处理算法,并让它们在分布式引擎上高效、低成本地运行,同时深度参与 Ray、Daft、Lance 等开源社区。
职位描述
1、研发面向数据湖的多模态数据处理算法与算子,包括图像/视频去重、视频切分、特征与 embedding 提取、图文匹配、基于 VLM 的自动标注与 caption 生成、数据质量评分与过滤、数据增强等,覆盖图像、视频、点云、轨迹等模态。
2、建设多模态数据湖计算引擎,支持 SQL 与 Python DataFrame 混合编程,将模型推理等 AI 算子纳入查询优化与执行计划,实现跨模态关联分析与流水线编排。
3、面向大规模数据处理与批量模型推理,优化分布式调度、批处理策略及 CPU/GPU 异构资源利用,解决计算、显存与内存瓶颈。
4、与存储团队协同优化数据读取路径,包括谓词与投影下推、数据分片与局部性、GPU 数据加载及结果写回,降低 I/O 与数据传输开销。
5、建立数据质量、算法效果与处理成本的评估体系,以数据驱动持续迭代。
职位要求
1、计算机、人工智能等相关专业本科及以上学历,3 年以上相关经验;精通 Python / C++ 等语言。
2、在以下方向中至少一个有深入积累,并对另一方向有了解:
算法方向:在图像识别、视频处理、特征提取、自动标注等多模态数据处理算法方向有深入实践,能独立完成算法设计、实现与效果评估;
引擎方向:熟悉 Ray、Daft、Spark、Flink 中至少一种,有分布式数据处理、向量化执行、算子融合或模型推理工程化经验。
3、熟悉 CPU/GPU 异构计算,有大规模数据处理系统的核心模块研发或数据产线规模化落地经验。
4、具备良好的需求理解与协作能力,重视工程质量与交付效果。
加分项
1、熟悉数据湖技术栈,包括对象存储、Iceberg、Parquet、Lance 等格式、元数据管理与 ACID 事务。
2、有