Descripción del empleo
Estamos en la búsqueda de un Data Engineer que deberá diseñar e implementar pipelines de datos y construir modelos de datos que se ajusten a los estándares en arquitectura y modelado. Se requiere un perfil con experiencia en la creación de notebooks de transformación y análisis en PySpark, así como en la automatización de validaciones de calidad de datos.
Responsabilidades:
- Diseñar e implementar pipelines de datos eficientes.
- Construir modelos de datos que cumplan con los estándares establecidos.
- Crear notebooks en PySpark para el análisis y transformación de datos.
- Automatizar procesos de validación de calidad de datos.
- Integrar datos provenientes de diversas fuentes mediante conectores y CDC.
- Documentar los procesos de ingesta, transformación y explotación de datos.
Requerimientos:
- Licenciatura en Ciencias de la Computación, Ingeniería de Sistemas, Ingeniería de Software, Informática o carreras afines.
- Mínimo 3 años de experiencia en el área de datos, construcción de ETLs y calidad de datos.
- Conocimiento en arquitecturas de datos, incluyendo Data Warehouses, Data Lakes y Big Data.
- Experiencia con bases de datos estructuradas y no estructuradas como SQL, Hive.
- Dominio de herramientas de integración como ETL/ELT, APIs y streaming de datos.
- Experiencia en herramientas de calidad y linaje de datos, así como virtualización y enmascaramiento de datos.
- Experiencia en manejo de datos de alta criticidad y datos sensibles.
- Dominio de lenguajes de programación como SQL, Spark y Python.
Data Engineer
https://lnkd.in/eTGWd-bF