Ingeniero de datos

Puesto de trabajo: Ingeniero sénior de canalización de datos

Ubicación del trabajo: Remoto (Solo Colombia)

Duración del trabajo: 6-12+ meses con extensión

Descripción del puesto:

Buscamos un Ingeniero Senior de Canalización de Datos altamente cualificado para crear, optimizar y mantener canales de datos robustos que impulsen nuestros análisis e informes. Este puesto requiere un profundo conocimiento del flujo de datos y pasión por las soluciones eficientes y escalables, con especial énfasis en la orquestación de Airflow. Si eres un profesional de datos con experiencia práctica que se esfuerza por crear infraestructuras de datos fiables y de alto rendimiento,

Como Ingeniero Sénior de Canalización de Datos, desempeñarás un papel fundamental en el diseño, desarrollo e implementación de las canalizaciones de datos esenciales para nuestra visión empresarial. Trabajarás en estrecha colaboración con analistas de datos, científicos de datos y otros equipos de ingeniería para garantizar que nuestra infraestructura de datos sea fiable, escalable y satisfaga las necesidades cambiantes de nuestra plataforma en crecimiento.

Requisitos clave (imprescindibles)

5-7+ años de experiencia dedicada al desarrollo de canalizaciones de datos.

Conocimiento a nivel experto de Python para manipulación de datos, creación de scripts, automatización e integraciones de API perfectas.

Sólidos conocimientos de MySQL, incluida la redacción de consultas avanzadas, optimización del rendimiento y diseño de consultas complejas.

Amplia experiencia práctica en la configuración y gestión de entornos Airflow y en el desarrollo de DAG complejos y altamente optimizados para diversos flujos de trabajo de datos.

Experiencia con diversas fuentes de datos y conectores (API, bases de datos relacionales, bases de datos NoSQL como MongoDB, archivos planos y fuentes de datos de segundos y terceros).

Profunda experiencia real con plataformas de almacenamiento de datos.

Experiencia en la creación de pipelines de lotes y transmisión escalables, aprovechando tecnologías adecuadas para lagos de datos a gran escala y plataformas de datos en la nube (preferiblemente AWS, GCP o Azure).

Familiaridad con marcos de calidad de datos y metodologías de pruebas sólidas para garantizar la integridad de los datos.

Experto en control de versiones (Git) y prácticas de CI/CD para implementaciones de canalizaciones de datos automatizadas y confiables.

Fuertes habilidades analíticas y de resolución de problemas.

Excelentes habilidades de comunicación escrita y verbal en inglés.

Responsabilidades clave:

Diseñar, desarrollar y mantener procesos ETL sólidos, escalables y eficientes para garantizar la calidad y el rendimiento de los datos en todos los sistemas.

Liderar el desarrollo de gráficos acíclicos dirigidos (DAG) complejos y altamente optimizados en Airflow para diversos flujos de trabajo de datos, incluida la configuración y la gestión de entornos de Airflow.

Utilice conocimientos de Python a nivel experto para manipulación avanzada de datos, creación de scripts, automatización e integraciones de API perfectas.

Utilice sólidas habilidades de MySQL para realizar procesos eficientes de extracción, transformación y carga de datos (ETL) de diversas fuentes de datos, incluido el ajuste del rendimiento y el diseño de consultas complejas.

Conéctese y extraiga datos de una amplia gama de fuentes de datos de segundos y terceros (por ejemplo, Mastercard, datos de marketing), API, bases de datos relacionales, bases de datos NoSQL (como MongoDB) y archivos planos.

Conocimiento profundo de conceptos de almacenamiento de datos y optimización de consultas en bases de datos relacionales para obtener el máximo rendimiento.

Desarrollar e implementar pipelines escalables de procesamiento por lotes y transmisión, aprovechando tecnologías adecuadas para lagos de datos a gran escala y plataformas de datos en la nube (por ejemplo, AWS, GCP o Azure preferiblemente).

Implementar marcos de calidad de datos y metodologías de prueba sólidas para garantizar la integridad y confiabilidad de los datos en todos los procesos.

Utilice Git para el control de versiones y adhiera a las prácticas de CI/CD para implementaciones de canalización de datos automatizadas y confiables.

Colaborar estrechamente con las partes interesadas para comprender los requisitos de datos y ofrecer soluciones que impulsen el valor comercial.

Participar activamente en procesos de desarrollo ágiles, incluida la planificación y revisión de sprints.

Más información: https://www.linkedin.com/jobs/view/4280353858