카프카 엔지니어 (Kafka Engineer)

Toss

📍 Seoul, Republic of, Korea, Republic of On-Site ⏳ 13h ago
AI assistant

Job Description

합류하게 될 팀에 대해 알려드려요

  • 토스뱅크의 Kafka Engineer는 Data Division 내 Real-Time Data 팀에 속해있어요.
  • Real-Time Data 팀은 Kafka, Flink, CDC, Kafka Connect, ClickHouse, OpenTelemetry, Langfuse 등 실시간 Data Platform을 운영하고 있어요.
  • 전사 서비스 이벤트와 로그가 지나가는 Kafka를 유실 없이 제공하는 것이 팀의 핵심 미션이에요.

합류하면 함께할 업무예요

  • 서버 MSA 이벤트, 데이터 파이프라인, 로그 등 용도별로 분리된 대규모 Kafka Broker Cluster를 두 개의 데이터센터에서 운영해요.
  • Broker 증설, partition reassign, rolling upgrade, 용량 계획을 주도하고 Ansible 기반으로 자동화해요.
  • Broker와 Client(Spring Boot) 사이에서 발생하는 지연, rebalance, consumer lag 문제의 근본 원인을 JVM, OS, 네트워크 수준까지 추적해 해결해요.
  • 데이터센터 이중화(Producer Active-Active, Consumer Active-Standby)를 위한 데이터 미러링과 offset sync 애플리케이션을 Kafka Connect 기반으로 개발하고 운영해요.
  • DC 전환 훈련과 failover 시 유실 검증으로 "중복은 허용하되 유실은 없는" Kafka를 만들어요.
  • 메트릭과 로그 기반의 모니터링, 알림을 고도화하고 AI를 활용해 장애 분석을 자동화해요.

이런 분과 함께하고 싶어요

  • Kafka Broker를 운영 환경에서 직접 운영하며