Data Engineer Big Data & Cloud
Grupo TECDATA Engineering
AI assistant
Job Description
Buscamos un perfil senior, con más de 3 años de experiencia, que asuma con autonomía la arquitectura y el desarrollo de una plataforma de datos centrada en Big Data (Cloudera / Spark) y con parte en Google Cloud Platform
Requisitos Big Data (imprescindible)
- Más de 3 años diseñando y desarrollando procesos batch y real time con Apache Spark en el ecosistema Cloudera.
- Alto nivel de Scala sobre Apache Spark; Java.
- Modelado en Apache HDFS/Hive, Apache Kudu y Apache Solr.
- Conocimiento profundo de Apache Kafka, a nivel de arquitectura y de desarrollo.
- Cloud (GCP) Experiencia desarrollando sobre Google Cloud Platform.
- BigQuery (modelado), dbt/SQL y Python.
- Pub/Sub, Dataflow, Cloud Functions y Cloud Storage.
- Transversal CI/CD con Git/Bitbucket y Jenkins.
- Planificación de procesos con Control-M.
- Trabajo en equipos Scrum.
- Autonomía, capacidad de decisión y buena comunicación con perfiles