Job Closed
This listing is no longer active.
Data Engineer, Azure Databricks
Location
Mexico
Posted
92 days ago
Salary
0
Seniority
Senior
Job Description
Data Engineer, Azure Databricks
Tech Mahindra
• Diseñar e implementar pipelines ETL/ELT escalables utilizando Azure Databricks y PySpark • Desarrollar soluciones de transformación de datos robustas usando Python y SQL • Construir y mantener notebooks en Databricks para procesos de ingestión y transformación • Orquestar flujos de datos mediante Azure Data Factory • Gestionar la gobernanza y control de accesos utilizando Databricks Unity Catalog • Crear y administrar Databricks Jobs para cargas productivas • Trabajar con soluciones de almacenamiento en Azure (Data Lake, Blob Storage, etc.) • Optimizar queries y pipelines para mejorar performance y escalabilidad • Garantizar la calidad, consistencia y confiabilidad de los datos • Colaborar con equipos de analytics y negocio para habilitar soluciones data-driven • Documentar procesos técnicos, arquitectura y despliegues • Utilizar herramientas de AI para optimizar desarrollo, debugging y productividad técnica
Job Requirements
- +3 años de experiencia en Ingeniería de Datos
- Experiencia sólida y comprobable en Azure Databricks
- Muy buen dominio de Python y SQL
- Experiencia construyendo pipelines ETL con PySpark y Delta Lake
- Experiencia práctica con Azure Data Factory
- Experiencia trabajando con Azure Data Lake / soluciones de almacenamiento en la nube
- Experiencia hands-on con:
- Unity Catalog
- Databricks Jobs
- Notebooks
- Sólido entendimiento de procesamiento distribuido de datos
- Experiencia trabajando en entornos cloud (preferentemente Azure)
- Fuertes habilidades analíticas y de resolución de problemas
Benefits
- días libres pagos
- feriados de EE.UU. pagos
- bono de bienvenida para equipamiento
- notebook provista por la empresa
- procesos de performance y revisión salarial
- certificaciones
- oportunidades de aprendizaje continuo
- programa de referidos
- licencia por maternidad/paternidad
- acompañamiento de nuestro equipo de People Care
Related Guides
Related Categories
Related Job Pages
More Data Engineer Jobs
Data Engineer I
TransUnionFounded in 1968, TransUnion is a credit information management services provider for consumers, businesses, and the global credit community. An equal opportunit
• Be part of an autonomous, cross-functional agile/scrum team • Drive building the next generation suite of products and platform • Designing, coding, building, and deploying highly scalable and robust solutions • Work on core services of big data solutions by streamlining design • Collaborate with the team to build orchestration platform in cloud
• Diseñar y construir pipelines de datos: Diseñar, construir y mantener pipelines para la ingestión, limpieza, transformación y carga (ETL/ELT) de datos desde múltiples fuentes hacia almacenes de datos y plataformas analíticas. • Administración de la infraestructura y almacenamiento de datos: Configurar y administrar bases de datos, sistemas de almacenamiento y herramientas de procesamiento. • Optimización de rendimiento y eficiencia: Identificar y resolver cuellos de botella en pipelines y sistemas de almacenamiento. • Gestión de metadatos y documentación: Desarrollar y mantener mecanismos de catalogación y documentación para conjuntos de datos, pipelines y procesos de transformación. • Seguridad, control y cumplimiento de datos: Implementar medidas de seguridad y cumplimiento para proteger la confidencialidad, integridad y disponibilidad de la información. • Colaboración e integración con equipos y productos: Trabajar de forma articulada con equipos de ciencia de datos, producto, ingeniería de software y operaciones. • Entendimiento del negocio para orientar el uso del dato: Profundizar en el conocimiento del negocio y del sector.
• Data Engineer will work closely with the rest of the product team and business peers to effectively execute Data project initiatives. • Deliver in a fast-paced and deadline-driven environment. • Responsible for maintenance of the data applications and expected to automate processes with no or minimal human intervention. • Development and maintenance of ELT snowflake data warehouse solutions. • Collaborate with internal and external technology and business partners to implement product changes. • Produce detail design and unit test documents, as required. • Critically analyze business requirements, architect and implement Data solutions. • Define, develop and maintain standards and processes to ensure effective ETL solution Production maintenance. • Work closely with product manager to develop and execute action plans to address gaps. • Recommend innovations that enhance and/or provide a competitive advantage to the organization. • Communicate effectively with both the business and technical teams. • Mentor junior offshore developers to accomplish results. • Build and continuously improve data engineering best practices.
• Build data applications and processes using Python, SQL, and Django; manage and query data in PostgreSQL, Oracle, and cloud-native databases • Examine, extract, cleanse, and load data while implementing quality assurance rules and tools to ensure consistent and accurate data • Work with healthcare-specific data processes such as EDI file transfers, claims adjudication, audits, eligibility verification, and reporting workflows • Collaborate with cross-functional teams (Data Analysts, Data Scientists, Product, Reporting, Account Management) to define requirements and deliver data-driven solutions • Ensure data quality, integrity, and security through automated validation, auditing, and monitoring, with compliance to HIPAA and CMS regulations • Monitor, maintain, and tune pipeline performance; proactively troubleshoot and resolve complex data flow and system issues • Provide technical mentorship to Data Engineers, sharing expertise in data modeling, pipeline development, and troubleshooting practices • Research and propose improvements to the tech stack and data engineering processes • Participate in sprint planning, refinement, and estimation to support implementation awareness and delivery




