LLMOps Engineer
TD Consulting - a trusted Recruitment partner
AI assistant
Job Description
Job Description
- Vận hành serving production cho SOC 6.000 case/ngày, mục tiêu 7,2 → 33,7 tỷ token/ngày
- Tối ưu tok/s: FP8/NVFP4, speculative decoding (EAGLE), prefix cache, expert parallel
- Sở hữu engine rollout cho RL
- Đặt và giữ SLO; trực 24/7 chung với Cluster & LLMOps
Requirements
- 3+ năm kỹ sư hệ thống/hiệu năng, C++ và Python tốt
- Thành thạo vLLM, SGLang hoặc TensorRT-LLM
- Biết profiling GPU (Nsight), hiểu CUDA/Triton
Ưu tiên
- Có contribution cho vLLM, SGLang
- Kinh nghiệm serving MoE lớn
Benefits
- Làm việc với cụm 20 node NVIDIA B300 và dữ liệu ATTT độc quyền của Công ty
- Quota GPU riêng để tự chạy thí nghiệm
- Khung đãi ngộ đặc thù cho vị trí khó tuyển; thưởng theo release
- Đào tạo nội bộ, hỗ trợ kỹ thuật từ NVIDIA; tham dự hội nghị