Navigate Change
Senior AI Data Engineer
Location
Brazil
Posted
3 days ago
Salary
0
Seniority
Senior
Job Description
Senior AI Data Engineer
CI&T
• Projetar e Desenvolver Pipelines de Dados: Arquitetar, implementar e manter pipelines ETL/ELT escaláveis e de alto desempenho para processar grandes volumes de dados estruturados e não estruturados. • Integração e Processamento de Dados: Construir arquiteturas acionadas por eventos para permitir o processamento de dados em tempo real e a integração perfeita entre sistemas. • Gerenciamento da Infraestrutura em Nuvem: Aproveitar os serviços em nuvem AWS (por exemplo, S3, Redshift, Glue, Lambda, Kinesis, Pentaho) para projetar e implantar uma infraestrutura de dados robusta. • Desenvolvimento e Otimização de Código: Escrever código limpo, eficiente e de fácil manutenção em Python para suportar a ingestão, transformação e orquestração de dados. • Colaboração em Ambientes Ágeis: Trabalhar em estreita colaboração com equipes multifuncionais, incluindo cientistas de dados, analistas e engenheiros de software, seguindo metodologias ágeis para entregar soluções iterativas. • Qualidade e Governança de Dados: Implementar melhores práticas para qualidade de dados, monitoramento e conformidade para garantir a integridade, consistência e segurança dos dados. • Otimização de Desempenho: Otimizar pipelines de dados e consultas em ambientes em nuvem para desempenho, escalabilidade e eficiência de custos. • Mentoria e Liderança: Fornecer orientação técnica aos membros juniores da equipe, promovendo uma cultura de aprendizado contínuo e melhoria. • Documentação e Compartilhamento de Conhecimento: Documentar designs técnicos, processos e fluxos de trabalho para garantir a manutenção e transferência de conhecimento.
Job Requirements
- Experiência profissional como Engenheiro de Dados ou em papel semelhante, com forte foco no desenvolvimento de pipelines de dados e soluções de dados baseadas em nuvem.
- Proficiência avançada em Python para processamento de dados, scripting e automação.
- Experiência prática com Databricks para processamento de grandes dados, incluindo Spark, Delta Lake e fluxos de trabalho do Databricks.
- Conhecimento profundo em serviços AWS para construir e gerenciar infraestrutura de dados.
- Expertise em projetar e implementar fluxos de trabalho ETL/ELT utilizando ferramentas como Apache Airflow, AWS Glue ou semelhantes.
- Experiência na construção de pipelines de dados em tempo real usando frameworks acionados por eventos.
- Forte experiência em ambientes ágeis, utilizando metodologias Scrum ou Kanban.
- Proficiência em bancos de dados relacionais e não-relacionais, com expertise em otimização SQL.
- Sólida compreensão de técnicas de modelagem de dados para análises e relatórios.
- Familiaridade com pipelines CI/CD, controle de versão e infraestrutura como código.
- Habilidades analíticas excepcionais focadas na entrega de soluções escaláveis e eficientes.
- Excelentes habilidades de comunicação verbal e escrita, com a capacidade de colaborar efetivamente com partes interessadas técnicas e não técnicas.
Benefits
- Plano de saúde e odontológico;
- Vale alimentação e refeição;
- Auxílio-creche;
- Licença parental estendida;
- Parceria com academias e profissionais de saúde e bem-estar via Wellhub (Gympass) TotalPass;
- Participação nos Lucros e Resultados (PLR);
- Seguro de Vida;
- Plataforma de aprendizagem contínua (CI&T University);
- Clube de descontos;
- Plataforma online gratuita dedicada à promoção da saúde física, mental e bem-estar;
- Curso gestante e parentalidade responsável;
- Parceria com plataformas de cursos online;
- Plataforma para aprendizagem de idiomas;
- E muitos outros
Related Guides
Related Categories
Related Job Pages
More Data Engineer Jobs
Senior Data Engineer
VersapayThe first Collaborative Accounts Receivable Network. Accomplish more, get paid faster, and deliver better experiences.
• Optimize our existing Snowflake architecture, establishing strict environmental isolation and scalable structures that prepare our data for eventual downstream commercialization and product offerings. • Leverage tools like Snowflake Cortex, Cursor, and UiPath to automate workflows, build semantic models, and deploy agents that accelerate time-to-value. • Implement and manage robust data quality and observability frameworks to ensure pipeline reliability and proactive issue resolution. • Design and maintain MLOps pipelines to support the seamless rollout, monitoring, and lifecycle management of ML models directly within Snowflake. • Partner closely with your peers under the Data Engineering Manager to share responsibilities across pipeline management, MLOps, and architecture, avoiding siloed knowledge and ensuring comprehensive team coverage. • Synthesize disparate operational entities into a unified, enterprise-wide semantic model that supports both internal analytics and future data monetization efforts.
Senior Data Engineer
VersapayThe first Collaborative Accounts Receivable Network. Accomplish more, get paid faster, and deliver better experiences.
• Architect for the Future: Optimize our existing Snowflake architecture, establishing strict environmental isolation and scalable structures that prepare our data for eventual downstream commercialization and product offerings. • Drive Agentic Engineering: Leverage tools like Snowflake Cortex, Cursor, and UiPath to automate workflows, build semantic models, and deploy agents that accelerate time-to-value. • Establish Data Observability: Implement and manage robust data quality and observability frameworks to ensure pipeline reliability and proactive issue resolution. • Operationalize Machine Learning: Design and maintain MLOps pipelines to support the seamless rollout, monitoring, and lifecycle management of ML models directly within Snowflake. • Execute Shared Ownership: Partner closely with your peers under the Data Engineering Manager to share responsibilities across pipeline management, MLOps, and architecture, avoiding siloed knowledge and ensuring comprehensive team coverage. • Model for Enterprise Utility: Synthesize disparate operational entities into a unified, enterprise-wide semantic model that supports both internal analytics and future data monetization efforts.
• Desenvolvimento de Pipelines: Projetar, construir e manter fluxos de dados (ETL/ELT) utilizando Pentaho (PDI) para sistemas legados e AWS Glue/Airflow para arquiteturas modernas em nuvem. • Orquestração e Automação: Gerenciar a execução de jobs e rotinas operacionais via Rundeck e Airflow, garantindo a observabilidade do dado. • Modelagem de Dados: Escrever queries complexas em SQL para transformar dados brutos de diferentes processadoras em visões analíticas para o negócio. • Codificação e Versionamento: Utilizar Python para automações e transformações customizadas, mantendo todo o ciclo de vida do código via Git. • Integração Multiprocessadora: Lidar com a ingestão de dados provenientes de diversos parceiros (RPE, Dock, etc.), padronizando informações de diferentes fontes.
German - Prompt Data Collection Contributor
AppenAppen is your trusted data partner, powering cutting-edge AI applications for the world's most innovative companies.
Role Description We’re looking for specialized contributors to help build a high-quality dataset of complex, instruction-following prompts for video composition AI systems. This project supports the development of next-generation AI by simulating real-world enterprise user requests across industries and use cases. What You’ll Do - Create Copilot-style prompts based on defined personas and enterprise scenarios - Work on tasks such as document summaries, video highlights, and business use cases - Review short narratives and select relevant visuals from a pre-approved library, then generate prompts Requirements - Prior corporate/professional experience preferred - Must complete behavioral pre-screening and KYC verification - High-quality, instruction-following output required Benefits - Contribute to cutting-edge AI systems used for video understanding and generation - Work on meaningful, real-world enterprise scenarios - Flexible, task-based participation - Fully remote and asynchronous work Payment Details - Project-based opportunity - Paid per completed prompt - Compensation depends on task complexity and approval quality - Only approved outputs will be eligible for payment How to Get Started - Apply to the project. - If selected, you will receive an email from CrowdGen to create your account. - Log in, reset your password, and complete the onboarding requirements. - Review the project guidelines and recording requirements. - Begin participating and submitting qualifying recordings. Company Description This role is a project-based opportunity with CrowdGen, where you will participate as an Independent Contractor. If selected, you will receive instructions to create your account, complete onboarding, and begin the qualification process.



