Data Engineer (Data Governance & Analytics)
42dot
AI assistant
Job Description
About the Team & Mission
42dot Data Governance & Analytcis 조직은 사내에서 데이터 관련 공통 업무를 담당하는 조직으로 1) 사내에 필요한 데이터 분석 환경을 운영하고 2) 필요한 경우 데이터 분석을 직접 수행하고 3) 이 과정에서 필요한 데이터에 관련된 필수적인 거버넌스 정책을 개발하고 운영합니다. 이를 위해서 서비스 개발팀들과 다양한 협업을 하고 있습니다. 이런 업무들을 통해서 사내 데이터 관리 효율성을 높여서 더 많은 구성원이 편리하게 데이터를 활용할 수 있도록 지원하고 있습니다.
Responsibilities
데이터 수집·처리 파이프라인 기능 개발 및 유지 보수
데이터 스키마 관리 및 데이터 카탈로그 운영
수집 데이터 품질 검증 로직 구현 및 이상치 탐지 자동화
대시보드 구성 및 파이프라인 모니터링 지표 관리
데이터 Ingestion 로직 구현 및 테스트
Qualifications
소프트웨어 개발 경력 6년 이상, 이 중 데이터 엔지니어링 경력 5년 이상
Python 또는 JVM 계열 언어(Java, Scala, Kotlin) 중 하나 이상의 데이터 처리 경험
SQL 쿼리 작성 및 데이터베이스 활용 경험
Git 기반 협업 및 코드 리뷰 경험
Preferred Qualifications
Apache Spark 또는 Databricks 사용