Software Engineer, Backend - 피드 (ML Data Platform)

당근마켓

📍 SEOUL, Republic of, Korea, Republic of On-Site ⏳ 1d ago
AI assistant

Job Description

당근 팀 합류 여정에 오르신 것을 진심으로 환영해요

당근은 회사의 성장에 맞춰 개인이 함께 성장할 수 있는 환경을 만들기 위해 노력을 하고 있어요.

멋진 동료들과 행복한 고민을 하는 그 순간이 올 수 있도록 당근 채용팀이 도와드릴게요.

ML 데이터 플랫폼팀을 소개해요

피드실 ML 데이터 플랫폼팀은 당근의 2,100만 MAU 사용자를 위한 추천 서비스가 안정적으로 제공될 수 있도록, 추천에 필요한 데이터를 생성·적재하고 서빙하는 플랫폼을 만들고 있어요. 피쳐 스토어와 추천 엔진, 임베딩 파이프라인을 비롯한 추천 시스템의 핵심 인프라를 직접 설계하고 운영하며, 여러 추천 서비스가 공통으로 활용할 수 있는 기반으로 발전시키고 있어요

  • 2,100만 MAU 사용자를 위한 추천을 위해 초당 100K+ 대용량 트래픽을 p99.9 기준 30ms 이하로 처리하고 있어요. 이는 당근의 수백 개 백엔드 서비스 중에서도 손에 꼽힐 만큼 높은 처리량이에요
  • 가능한 한 최신 정보를 추천에 반영하기 위해 여러 서비스의 데이터를 스트림으로 준 실시간 수집하고 처리하고 있어요. Kafka, GCP Pub/Sub에서 100+개의 이벤트 스트림을 처리해 1,000개가 넘는 피쳐를 피쳐 스토어를 통해 제공하고 있어요

이런 일을 해요

  • 추천 시스템에 필요한 추천 엔진, 피쳐 스토어, 임베딩 생성 플랫폼 등의 서비스들을 개발하고 운영해요
  • 대규모 트래픽 환경에서도 안정적으로 동작할 수 있도록 성능과 비용을 지속적으로 최적화해요
  • LLM 기반 임베딩 벡터와 모델 추론 결과를 추천 시스템에서 안정적으로 활용할 수 있는 파이프라인을 구축해요
  • 추천 품질과 데이터 품질을 더 잘 관찰할 수 있도록 Data Quality 모니터링 시스템을