Engenheiro de Dados SR – cloud GCP

Data EngineerData EngineerFull TimeRemoteJuniorTeam 1,001-5,000H1B No SponsorCompany SiteLinkedIn

Location

Brazil

Posted

3 days ago

Salary

0

Seniority

Junior

Bachelor Degree1 yr expPortugueseEnglishAirflowApacheBigQueryCloudDockerGoogle Cloud PlatformPython

Job Description

Engenheiro de Dados SR – cloud GCP

FCamara Consulting & Training

• Desenvolver, manter e otimizar pipelines de dados escaláveis em ambiente cloud • Trabalhar com processamento distribuído de dados utilizando Apache Beam • Orquestrar workflows e pipelines de dados utilizando Apache Airflow • Desenvolver soluções em Python seguindo boas práticas de engenharia de software • Atuar em ambientes Google Cloud Platform (GCP) • Criar e manter pipelines de deploy utilizando práticas de CI/CD • Desenvolver e gerenciar configurações e automações utilizando YAML/YML • Utilizar Docker para conteinerização de aplicações e serviços • Desenvolver, testar e documentar modelos de transformação de dados com dbt • Colaborar com times de engenharia, analytics e negócio para garantir qualidade, confiabilidade e performance das soluções

Job Requirements

  • Inglês avançado é requisito eliminatório
  • Experiência com Google Cloud Platform (GCP)
  • Vivência com serviços como BigQuery, Cloud Storage, Cloud Composer e/ou Dataflow
  • Conhecimento sólido em Python
  • Experiência com Apache Beam
  • Experiência com Apache Airflow
  • Vivência com práticas de CI/CD
  • Experiência com YAML/YML
  • Conhecimento em Docker
  • Experiência com dbt

Benefits

  • Inclusão em projetos de Data & AI
  • Oportunidade de atuar em equipe multidisciplinar
  • Desenvolvimento e aprendizado contínuo
  • Participação em eventos de capacitação e integração

Related Categories

Related Job Pages

More Data Engineer Jobs

Full TimeRemoteTeam 10,001+H1B Sponsor

• Colaborar com as equipes de engenharia de dados para entender os requisitos e fornecer soluções eficientes; • Atuar no desenvolvimento e sustentação das tecnologias Azure, Databricks (PysPark), Python, Data Lake e SQL; • Utilizar Python ElementTree para manipulação eficiente de dados XML e integração de dados heterogêneos; • Desenvolver scripts em Python utilizando Pandas para manipulação e análise de dados estruturados; • Atuar com a disponibilidade, estabilidade e evolução contínua dos sistemas do cliente assegurando alta performance; • Atuar com a parte de segurança e conformidade dos requisitos de negócio, por meio de uma gestão proativa, automação de processos e melhoria contínua dos serviços de sustentação; • Trabalhar com a qualidade e integridade dos dados, implementando práticas de teste e monitoramento; • Manter documentação técnica abrangente para os processos e soluções implementadas; • Apoio com ações corretivas, suportando as entregas em produção, acompanhando CHGs;

Brazil
Full TimeRemoteTeam 10,001+H1B Sponsor

• Collaborate with data engineering teams to understand requirements and deliver efficient solutions; • Develop and maintain Azure, Databricks (PySpark), Python, Data Lake, and SQL technologies; • Use Python ElementTree for efficient XML data handling and integration of heterogeneous data; • Develop Python scripts using Pandas for manipulation and analysis of structured data; • Ensure availability, stability and continuous evolution of client systems, ensuring high performance; • Work on security and compliance for business requirements through proactive management, process automation, and continuous improvement of support services; • Maintain data quality and integrity by implementing testing and monitoring practices; • Keep comprehensive technical documentation for processes and solutions implemented; • Support corrective actions, assist with production deliveries and monitor change requests (CHGs);

Brazil
Full TimeRemoteTeam 10,001+H1B Sponsor

• Perform the complete migration of the current environment, today hosted on Databricks on Azure, to AWS, including creating a new data model and restructuring legacy pipelines and routines; • Define and evolve the Corporate Data Platform architecture (Lakehouse); • Ensure adherence to the target model based on AWS + Databricks; • Define architecture standards, frameworks and best practices; • Drive the definition of the migration strategy (waves, prioritization, dependencies); • Migration and Modernization: Lead the modernization of the legacy Data Warehouse (Azure/DataStage → AWS/Databricks); • Define migration approaches: Incremental vs Big Bang; • Ensure operational continuity during the transition; • Governance & Security: Define and implement standards for: Data governance/Access control/Data quality and lineage; • Ensure compliance with corporate policies and LGPD (Brazilian data protection law); • DataOps & Standardization: Structure standardized and reusable pipelines; • Implement best practices for CI/CD for data; • Reduce dependence on manual processes and low standardization; • Integration and Ecosystem: Design integrations with multiple sources and on-premises systems;

Brazil
Naveera Technology LLC logo

Senior AWS Data Engineer / Lead Data Architect

Naveera Technology LLC

Engineering Production-Ready Data, AI & Cloud Platforms - Scalable, Secure, and Built for Enterprise Growth.

Data Engineer3 days ago
Full TimeRemoteTeam 201-500H1B No Sponsor

• Define and implement end-to-end Data Lakehouse solutions on AWS. • Lead the automation of cloud infrastructure using Terraform. • Orchestrate large-scale performance tuning initiatives. • Establish automated Data Quality gates using AWS Glue Data Quality. • Design complex, event-driven workflows using Step Functions and Airflow. • Serve as the primary technical liaison between Data Science, BI teams, and Business Stakeholders.

India