Data Engineer II
Improvement & Progress, S.A.
AI assistant
Job Description
Requisitos del Perfil
- Python y SQL con nivel intermedio-avanzado.
- Experiencia con orquestación de pipelines usando Prefect y procesamiento de datos con Polars y Spark.
- Manejo de bases de datos relacionales y conocimiento de SAP Service Layer.
- Conocimiento de AWS: S3, EC2, ECS, Fargate y ECR para publicación y mantenimiento de pipelines en producción.
- Docker (obligatorio) y control de versiones con GitHub, incluyendo flujos de CI/CD.
- Experiencia en consumo de datos desde S3, réplicas de bases de datos y desarrollo de web scrapers.
- Fundamentos de arquitectura de datos: ETL/ELT, modelado dimensional y conceptos de Data Lake / Data Warehouse.
- Buenas prácticas de calidad de código: uso de ruff como linter, revisión por Pull Request y documentación técnica.
Requisitos Académicos
- Ingeniería en Sistemas, Computación o Informática.
- 2 a 3