LLMOps Engineer

TD Consulting - a trusted Recruitment partner

📍 Hanoi, Hanoi, Viet Nam On-Site ⏳ 8h ago
AI assistant

Job Description

Job Description

  • Vận hành serving production cho SOC 6.000 case/ngày, mục tiêu 7,2 → 33,7 tỷ token/ngày
  • Tối ưu tok/s: FP8/NVFP4, speculative decoding (EAGLE), prefix cache, expert parallel
  • Sở hữu engine rollout cho RL
  • Đặt và giữ SLO; trực 24/7 chung với Cluster & LLMOps


Requirements

  • 3+ năm kỹ sư hệ thống/hiệu năng, C++ và Python tốt
  • Thành thạo vLLM, SGLang hoặc TensorRT-LLM
  • Biết profiling GPU (Nsight), hiểu CUDA/Triton

Ưu tiên

  • Có contribution cho vLLM, SGLang
  • Kinh nghiệm serving MoE lớn


Benefits

  • Làm việc với cụm 20 node NVIDIA B300 và dữ liệu ATTT độc quyền của Công ty
  • Quota GPU riêng để tự chạy thí nghiệm
  • Khung đãi ngộ đặc thù cho vị trí khó tuyển; thưởng theo release
  • Đào tạo nội bộ, hỗ trợ kỹ thuật từ NVIDIA; tham dự hội nghị