• Architect, implement, and maintain scalable data pipelines across core systems. • Build and manage analytics infrastructure using both open-source and commercial tools.  • Ensure data quality and schema discipline for operational reliability. • Deliver clean, consistent models and dashboards utilized by multiple teams. • Collaborate with stakeholders to support analytics, business intelligence, and decision-making initiatives.

• Design and implement automated workflows to facilitate cross-system data flow. • Identify and visualize critical interdependencies between hardware components and software systems across the enterprise. • Support the integration of data across programs and the software acquisition pathway to monitor real-time program health. • Analyze large datasets of requirements across multiple programs to pinpoint duplications. • Drive consolidation to eliminate waste and streamline operations. • Develop and maintain data models that allow for "what-if" scenario planning and enterprise-level ontologies to ensure consistent data definitions across various programs. • Utilize data-driven "downtracing" methods to refine solution architectures and ensure every requirement is traceable from high-level mission goals down to technical implementation. • Translate complex data models into compelling narratives, dashboards, and briefings. • Clearly communicate project requirements, resource gaps, and the impact of various investment trade-offs to senior Army leadership.

• Directs and oversees staff providing the data implementation, integration, security, and operations of the War Data Platform Data Operations and Reliability. • Provides direction to and accepts/reviews/rejects a wide variety of contractor-supported deliverables including, but not limited to data engineering, data operations, data governance, and data security. • Conducts continuing reviews and analysis of technology and system development to ensure that the War Data Platform meets CDAO's requirements with respect to functionality, reliability, integrity, and performance. • Directs and/or carries out a wide variety of analysis, design, implementation, and operational tasks associated with the development and delivery of the data integration layer of the War Data Platform to meet the needs of all levels of CDAO's customers, business processes, and functional/non-function requirements. • Participates in top-level decision-making regarding courses of action that will improve the utility and integrity of the War Data Platform's data collection, distribution, cataloging, and management.

Role Description Esta oportunidade é para atuar em um time de alta performance. Buscamos um perfil híbrido que domine a Engenharia de Dados, mas que possua a "casca" de desenvolvimento de software. Diferente de posições tradicionais de dados, aqui você trabalhará diretamente com a integração entre pipelines e microsserviços, exigindo versatilidade para transitar entre diferentes stacks tecnológicas conforme o desafio do projeto. Responsabilidades: - Ingestão e Extração: Desenvolver scripts (Python puro ou PySpark) para consultar bases SQL Server, tratar os dados e publicá-los em buckets AWS S3. - Processamento (Arquitetura Medalhão): Construir pipelines para mover e refinar dados entre as camadas Bronze e Prata utilizando Python, PySpark e AWS Glue. - Disponibilização de Dados: Garantir a entrega de dados em OpenSearch (Fast Data) e no Amazon Redshift (para suporte ao time de BI). - Integração com Microsserviços: Colaborar com a camada de consumo, onde microsserviços em Node.js consultam o OpenSearch para servir as aplicações finais. - Visão Consultiva: Atuar de forma autônoma, indicando os melhores caminhos técnicos e arquiteturais para o projeto. Qualifications - Sólida vivência em projetos de engenharia de dados com autonomia para execução sem supervisão constante. - Domínio de Python e PySpark: Experiência avançada em processamento de dados e scripts de automação. - Software Engineering: Conhecimento profundo em Programação Orientada a Objetos (POO) e conceitos sólidos de Microsserviços. - Cloud AWS: Experiência prática com S3, Glue e Redshift. - Banco de Dados: Domínio de SQL para consultas e manipulações (SQL Server). - Mentalidade "Agnostic Stack": Flexibilidade e interesse em lidar com múltiplas linguagens e curvas de aprendizado (como baixar um projeto Node.js ou Java para testes e spikes). Requirements - Conhecimento prévio em Node.js. - Experiência com OpenSearch ou ferramentas similares de busca. - Experiência com AWS Glue utilizando Python. Benefits - Nossa contratação é CLT- 40h semanais com jornada flexível, sendo executada de forma remota. - Para Saúde e bem-estar: - Plano de Saúde e Odontológico SulAmérica extensivo a dependentes; - Vale Alimentação/Refeição em cartão flexível Caju benefícios; - Seguro de Vida; - Auxílio Home-Office em cartão flexível Caju benefícios; - Wellhub (Gympass); - Sesc – extensivo a dependentes, com acesso aos serviços em todo o Brasil; - TotalPass. - Para o seu Desenvolvimento: - ília University: Universidade Corporativa com mais de 20 mil cursos disponíveis para desenvolvimento pessoal e profissional; - Language Academy: Escola de idiomas para ílians; - í-talks e Chapter: Momentos e cerimônias em que o time compartilha práticas, estudos, projetos e ideias. Nas chapters ainda se reúnem pessoas com skills similares para compartilhamento de ideias, práticas e experiências; - Benefícios não convencionais: - Plano de Saúde PET - Guapeco; - Onhappy – benefício de viagem a lazer, com liberdade para você viajar com quem quiser; - BYOD - Alugamos o seu notebook pessoal te pagando um valor mensal para que você o use, mas disponibilizamos também máquinas de trabalho para ílians. Você quem decide! - Seu Niver, seu bolo! - Seu Networking Vale Prêmio - Programa de premiação a indicação de novos funcionários.