Driving Transformation in the automotive retail industry
Data Engineer II
Location
Brazil
Posted
15 hours ago
Salary
0
Seniority
Mid Level
Job Description
Data Engineer II
MSX International
Role Description Esta posição é responsável por projetar, desenvolver e manter plataformas de dados corporativos que possibilitam insights sobre dados de clientes. O(a) Engenheiro(a) de Dados utilizará conhecimentos em SQL e Python para executar projetos e tarefas de alta qualidade, com elevado nível de precisão e dentro dos prazos estabelecidos. - Projetar, codificar, testar, corrigir e documentar programas e scripts utilizando padrões e ferramentas acordados, garantindo resultados bem estruturados. - Assegurar a qualidade dos dados e implementar ferramentas e frameworks para automatizar a identificação de problemas de qualidade de dados. - Realizar perfilhamento de fontes de dados e desenvolver processos ETL, com conhecimento dos fundamentos de modelagem de dados, utilizando SQL, Python e ferramentas de suporte a ETL/ELT. - Auxiliar a gestão na criação de estimativas e propostas para clientes. - Planejar soluções eficazes para armazenamento, segurança, compartilhamento e publicação de dados dentro da organização. - Criar e atualizar documentações de fluxos de processos e regras de negócio. - Manter fluxos existentes atualizados e processar grandes volumes de dados conforme necessário. Qualifications - Graduação em Ciência da Computação, Estatística, Matemática ou área relacionada. - 3 a 5 anos de experiência em Engenharia de Dados e/ou Data Warehousing. - Experiência em projetar e desenvolver pipelines de dados ETL/ELT. - Proficiência na escrita de consultas SQL avançadas. - Proficiência em Python e em diferentes bibliotecas Python. - Forte capacidade analítica, com habilidade para compreender e comunicar o significado dos dados apresentados. - Excelentes habilidades matemáticas, estatísticas e de lógica. - Excelente capacidade de raciocínio. - Perfil entusiasta, altamente motivado, com habilidade para aprender rapidamente. - Experiência na criação de workflows ETL no Databricks. - Compreensão de Apache Spark. Requirements - 3 a 5 anos de experiência em operações automotivas ou em negócios similares (ambiente dinâmico). - Experiência na construção de soluções de dados em nuvem Azure ou AWS e em migração de ambientes on‑premise para a nuvem. - Experiência prévia em atendimento a clientes externos. - Familiaridade com administração de MS SQL Server. - Experiência com repositórios GIT. - Experiência com FTP e APIs. - Forte capacidade de comunicação e conhecimento prático de metodologias ágeis, incluindo conceitos de DevOps. - Experiência com ferramentas de visualização de dados (Tableau, Power BI, etc.). Other Competencies and Characteristics - Retenção de Conhecimento – Para entregar trabalho da mais alta qualidade, os(as) analistas precisam aprender e memorizar uma grande quantidade de informações. - Atenção aos Detalhes – Os(as) analistas devem ser capazes de focar nos detalhes para identificar e isolar problemas. - Habilidades Organizacionais – É essencial que os(as) analistas sejam organizados(as) e capazes de acompanhar múltiplos projetos simultaneamente. - Flexibilidade – Devem ser capazes de lidar com diversas tarefas ao mesmo tempo e se adaptar a mudanças de prioridade. - Agilidade – Devem trabalhar de forma rápida e eficiente, sem comprometer a qualidade das entregas. - Orientação para Soluções – Devem ser capazes de encontrar soluções viáveis para qualquer problema que possam enfrentar. Language Skills - Proficiência profissional completa em inglês é obrigatória. Physical Requirements - Durante a execução das atividades deste cargo, o(a) colaborador(a) é regularmente solicitado(a) a realizar chamadas, videoconferências, enviar e-mails, mensagens e se comunicar com concessionárias e colegas de trabalho. - Acomodações razoáveis poderão ser fornecidas para permitir que pessoas com deficiência possam exercer as funções essenciais. Work Environment - Ambiente remoto e/ou escritório. - O nível de ruído no ambiente de trabalho geralmente é moderado. - Acomodações razoáveis podem ser fornecidas para permitir que pessoas com deficiência possam desempenhar adequadamente essas funções.
Related Guides
Related Categories
Related Job Pages
More Data Engineer Jobs
Azure Data Engineer
Rysun Labs IncRysun Labs (formerly KCS – Krish Compusoft Services) is an AI, Data & Digital innovation partner of choice for enterprises, globally. Rysun guides and accelerates the Data & AI strategy and Digital Transformation programs for Fortune 2000 enterprises and product startups to shape remarkable customer experiences and intelligent operations. The team delivers innovative, specialized solutions that help High-tech, Retail & Ecommerce to outperform competition and lead the change in their industry. Rysun partners with Microsoft, Google and AWS to bring the best of enterprise technology to its customers. Rysun believes in quality-first and is CMMI Level 5, ISO 9001 & 27001 certified. The team has a growth mindset fueled by a strong culture of collaboration that unifies its global teams across India, USA, South Africa (a proud Level 2 B-BBEE Contributor), and UK.
Role Description We are seeking a skilled Data Engineer to design, develop, and optimize scalable cloud-based data solutions on Microsoft Azure. The ideal candidate will have strong expertise in Azure data services, data ingestion frameworks, modern data warehousing, and ELT/ETL development using dbt and Snowflake. The role involves: - Building robust data pipelines - Transforming raw data into analytics-ready datasets - Implementing best practices for data engineering - Collaborating with cross-functional teams to deliver high-quality, scalable data solutions Qualifications - Bachelor’s degree in computer science, Information Technology, Engineering, or a related field - 5–10 years of experience in Data Engineering or Cloud Data Engineering - Strong expertise in Microsoft Azure Data Services - Hands-on experience with Azure Data Factory (ADF V2) - Strong understanding of Azure cloud architecture and data platform design - Experience working with Snowflake as a cloud data warehouse - Strong SQL programming and query optimization skills - Experience with Git-based version control Requirements - Experience designing and implementing Bulk Data Ingestion Frameworks - Experience with Watermark-based Incremental Loads - Experience with Change Data Capture (CDC) - Hands-on experience with dbt (Data Build Tool), including: - dbt Models - Macros - Tests - Documentation - Version Control - Experience processing data in formats such as: - JSON - Parquet - CSV Benefits - Dental insurance - Health insurance - Paid time off - Training & development - Vision insurance Company Description Rysun Labs (formerly KCS – Krish Compusoft Services) is an AI, Data & Digital innovation partner of choice for enterprises. Rysun guides and accelerates the AI & Data strategy and Digital Transformation programs for Fortune 2000 enterprises and product startups to shape remarkable customer experiences and intelligent operations. The team delivers innovative, specialized solutions that help High-tech, Retail & Ecommerce, and Energy companies to outperform competition and lead the change in their industry. Rysun partners with Microsoft, Google and AWS to bring the best of enterprise technology to its customers. Rysun believes in quality-first and is CMMI Level 5, ISO 9001 & 27001 certified. The team has a growth mindset fueled by a strong culture of collaboration that unifies its global teams across US, UK, India & South Africa (a proud Level 2 B-BBEE Contributor).
• Model and implement the data warehouse and a data lake on S3. • Implement an offline Feature Store (SQL Server, point-in-time correctness) and an online Feature Store (Redis). • Develop ETL/ELT pipelines with versioning, data lineage, and data quality tests. • Evolve existing pipelines and analytical dashboards as the starting point for the data lake. • Integrate event-driven architecture (Azure Service Bus / Kafka) for real-time features. • Support MLOps pipelines (Azure ML, MLflow) in collaboration with ML Engineers.
• Work on an SAP Commerce migration project, supporting the adaptation of the new SAP Commerce platform to the current data flows; • Perform maintenance and adjustments on existing pipelines, following directions and priorities defined by the client; • Contribute to the continuity of data migration and integration initiatives related to the project; • Support requests that fall outside the project's initial scope, ensuring the evolution and stability of data flows; • Participate in the analysis, correction, and enhancement of existing data processes; • Collaborate with the team on the maintenance and adaptation of solutions during the technological transition period.
• Diseñarás, desarrollarás y optimizarás pipelines y soluciones de datos escalables, fiables y mantenibles en entornos modernos de Data Warehouse, trabajando principalmente sobre Snowflake • Participarás en el diseño e implementación de modelos y soluciones de datos eficientes, aplicando buenas prácticas de modelado, transformación ELT, calidad, gobierno y rendimiento, con foco en la escalabilidad, mantenibilidad y evolución futura de las soluciones • Identificarás oportunidades de mejora continua en procesos, consultas, cargas, modelos, costes y flujos de integración, contribuyendo a la evolución de la plataforma de datos • Trabajarás de forma cercana con equipos de negocio y otras áreas técnicas para entender requisitos, traducirlos en soluciones robustas y asegurar la entrega de datos fiables, trazables y preparados para el consumo
