Job Closed
This listing is no longer active.
Big Data Developer, Hadoop/Spark/Java
Location
India
Posted
11 days ago
Salary
0
Seniority
Senior
Job Description
Big Data Developer, Hadoop/Spark/Java
S&P Global
• Complete SDLC: architecture, design, development and support of tech solutions • Active participation in all scrum ceremonies, follow SAFe best practices effectively. • Play a key role in the development team to build high-quality, high-performance, scalable code. • Produce technical design documents and conduct technical walkthroughs. • Document and demonstrate solutions using technical design docs, diagrams and stubbed code. • Work collaboratively with business partners to understand and clarify requirements. • Collaborate effectively with technical and non-technical stakeholders. • Design and develop industry-leading applications. • Respond to and resolve production issues.
Job Requirements
- Must have hands on Hadoop, Spark, PySpark and SQL experience
- Must have hands on experience in Java Spring Boot or .Net (Java Preferred)
- Must be a quick learner to evaluate and embrace new technologies in Big data space
- Knowledge of distributed NOSQL databases like Elastic Search, Cassandra, MongoDB is preferable.
- Knowledge on Amazon web services and Apache Airflow is preferable.
- Knowledge on streaming systems is a plus.
- 3 to 5 years of experience with developing solutions involving relational database technologies on SQL Server platform, stored procedure programming experience using Transact SQL.
- Bachelor's degree in Computer Science, Information Systems or Engineering is required.
- Experience working in AWS or Azure cloud technologies is preferred.
- Bachelor's/PG degree in Computer Science, Information Systems or equivalent is preferred.
- Excellent analytical and communication skills are essential, with strong verbal and writing proficiencies.
Benefits
- Health & Wellness: Health care coverage designed for the mind and body.
- Flexible Downtime: Generous time off helps keep you energized for your time on.
- Continuous Learning: Access a wealth of resources to grow your career and learn valuable new skills.
- Invest in Your Future: Secure your financial future through competitive pay, retirement planning, a continuing education program with a company-matched student loan contribution, and financial wellness programs.
- Family Friendly Perks: It’s not just about you. S&P Global has perks for your partners and little ones, too, with some best-in class benefits for families.
- Beyond the Basics: From retail discounts to referral incentive awards—small perks can make a big difference.
Related Guides
Related Job Pages
More Backend Engineer Jobs
SemiSenior/Senior Backend Engineer - XP / TDD / Continuous Delivery Mindset
DaCodes.Coding the world of tomorrow
Role Description Nuestro cliente es una startup que construye sistemas de gestión de riesgo y alertamiento temprano para eventos hidrometeorológicos y desastres naturales. Su software procesa información en tiempo real, integra sensores físicos, distribuye alertas y ayuda a instituciones y organizaciones a reaccionar ante eventos críticos. No estamos buscando solo Backend...Estamos buscando engineers que: - No trabajan como una software factory tradicional. - No creen en releases gigantes. - QA como cuello de botella. - Tickets eternos. - “Ya quedó en mi ambiente”. - Ceremonias ágiles vacías. - Arquitecturas complejas solo porque “así lo hace Big Tech”. Sí creemos en: - XP (Extreme Programming). - TDD real. - Refactor continuo. - Feedback loops cortos. - Trunk-based development. - Entrega continua. - YAGNI. - Diseño incremental. - Colaboración constante. - Software simple que evoluciona rápido. Qué hacemos realmente: - Ingestión de datos en tiempo real. - Procesamiento de eventos. - Alertamiento temprano. - Sistemas operativos críticos. - Continuidad operativa. - Monitoreo. - Observabilidad. - Automatización de flujos de riesgo. Trabajamos principalmente con: - AWS. - Arquitecturas event-driven. - TypeScript end-to-end. - Servicios cloud-native. - Sistemas distribuidos. - Releases frecuentes en producción. Stack actual: - Backend: TypeScript, Node.js, Serverless, Event-driven Architecture. - Cloud / Infraestructura: AWS Lambda, EventBridge, SNS, SQS, CloudWatch, DynamoDB, Fargate. - Frontend: TypeScript, React. - Mobile: React Native. - Otros: Docker, CI/CD, Testing, Observability, Cloud-native tooling. Cómo trabajamos: - El objetivo NO es escribir la arquitectura “perfecta”. - El objetivo es: - Entregar valor rápido. - Obtener feedback temprano. - Reducir fricción. - Mantener el sistema fácil de cambiar. - Evolucionarlo continuamente. - Aquí hacemos releases frecuentes. - Trabajamos con ownership compartido. - Revisamos diseño constantemente. - Hacemos refactor continuo. - Buscamos reducir el tiempo entre: - “Escribí código” - “Sé si realmente funciona”. Cómo colaboramos: - Trabajamos de manera altamente colaborativa. - Eso significa que: - Compartimos contexto constantemente. - Revisamos ideas temprano. - Hacemos pairing. - Discutimos diseño. - Damos feedback técnico frecuente. - Para nosotros, pair programming NO significa: - “Dividir tareas y cada quien trabajar por su lado”. - Significa: - Resolver problemas juntos. - Reducir incertidumbre temprano. - Compartir ownership. - Detectar errores antes de producción. - Mejorar continuamente cómo construimos software. Lo que probablemente NO disfrutarás aquí: - Este rol probablemente NO es para ti si: - Prefieres procesos rígidos y altamente estructurados. - Necesitas tickets extremadamente detallados para avanzar. - Haces testing solo al final. - Trabajas mejor aislado. - Te incomoda recibir feedback técnico frecuente. - Piensas que TDD = “hacer pruebas después”. - Buscas equipos donde cada quien toca únicamente “su microservicio”. - O si tu definición de seniority es únicamente años de experiencia o conocimiento de frameworks. Qué valoramos realmente: - Más allá del stack, buscamos personas que: - Sepan reducir complejidad. - Puedan entregar incrementalmente. - Entiendan trade-offs. - Detecten fricción en procesos. - Colaboren activamente. - Tengan criterio técnico. - Y sean capaces de aprender rápido. - No esperamos perfección. - Sí esperamos curiosidad técnica genuina. Antes de aplicar: - Trabajamos bajo principios inspirados en: - Extreme Programming (XP). - TDD. - Continuous Delivery. - YAGNI. - Refactor continuo. - Feedback-driven development. - Si estos conceptos te son familiares, probablemente tengas ventaja en el proceso. - Si no los conoces pero este tipo de cultura te interesa, te recomendamos muchísimo explorar: - Extreme Programming Explained — Kent Beck. - No necesitas convertirte en experto para aplicar. - Pero sí queremos personas con curiosidad real por mejorar cómo se construye software. Proceso: - Conversación inicial (mindset + experiencia real). - Sesión técnica práctica. - Conversación final con el equipo. No hacemos: - LeetCode. - Acertijos algorítmicos irreales. - Entrevistas teatrales. Sí evaluamos: - Cómo piensas. - Cómo colaboras. - Cómo diseñas. - Cómo abordas problemas. - Cómo reaccionas al feedback técnico. - Y cómo trabajas bajo incertidumbre real. Nota importante: - Si sientes que tu CV NO refleja completamente este tipo de mindset técnico-cultural, pero esta forma de trabajar te entusiasma genuinamente: - Aplica de todos modos. - Nos interesa mucho más: - Cómo piensas. - Cómo aprendes. - Cómo colaboras. - Y cómo reaccionas al feedback. - Más que una lista perfecta de buzzwords. - Responde a detalle todas las preguntas de prefiltro (ATS), esto será importante para el prefiltro. - Más allá de tu CV, queremos entender cómo piensas y cómo trabajas. - No buscamos respuestas “correctas”. - Buscamos honestidad, criterio y claridad técnica. Benefits - 🚀 Integración a marcas globales y startups disruptivas. - 🏡 Trabajo remoto/Home office. - 📍 En caso de requerir modalidad híbrida o presencial, serás informado desde la primera sesión. - ⏳ Horario ajustado a la célula de trabajo/proyecto asignado. - 📅 Trabajo de lunes a viernes. - 🎉 Día off en tu cumpleaños. - 🏥 Seguro de gastos médicos mayores (aplica para México). - 🛡️ Seguro de vida (aplica para México). - 🌎 Equipos de trabajo multiculturales. - 🎓 Acceso a cursos y certificaciones. - 📢 Meetups con invitados especiales del área de IT. - 📡 Eventos virtuales de integración y grupos de interés. - 📢 Clases de inglés. - 🏆 Oportunidades dentro de nuestras diferentes líneas de negocio. - 🏅 Orgullosamente certificados como Great Place to Work.
Role Description Nuestro cliente es una startup que construye sistemas de gestión de riesgo y alertamiento temprano para eventos hidrometeorológicos y desastres naturales. Su software procesa información en tiempo real, integra sensores físicos, distribuye alertas y ayuda a instituciones y organizaciones a reaccionar ante eventos críticos. No estamos buscando solo Backend...Estamos buscando engineers que: - No trabajan como una software factory tradicional. - No creen en releases gigantes. - QA como cuello de botella. - Tickets eternos. - “Ya quedó en mi ambiente”. - Ceremonias ágiles vacías. - Arquitecturas complejas solo porque “así lo hace Big Tech”. Sí creemos en: - XP (Extreme Programming). - TDD real. - Refactor continuo. - Feedback loops cortos. - Trunk-based development. - Entrega continua. - YAGNI. - Diseño incremental. - Colaboración constante. - Software simple que evoluciona rápido. Qué hacemos realmente: - Ingestión de datos en tiempo real. - Procesamiento de eventos. - Alertamiento temprano. - Sistemas operativos críticos. - Continuidad operativa. - Monitoreo. - Observabilidad. - Automatización de flujos de riesgo. Trabajamos principalmente con: - AWS. - Arquitecturas event-driven. - TypeScript end-to-end. - Servicios cloud-native. - Sistemas distribuidos. - Releases frecuentes en producción. Stack actual: - Backend: TypeScript, Node.js, Serverless, Event-driven Architecture. - Cloud / Infraestructura: AWS Lambda, EventBridge, SNS, SQS, CloudWatch, DynamoDB, Fargate. - Frontend: TypeScript, React. - Mobile: React Native. - Otros: Docker, CI/CD, Testing, Observability, Cloud-native tooling. Cómo trabajamos: - El objetivo NO es escribir la arquitectura “perfecta”. - Entregar valor rápido. - Obtener feedback temprano. - Reducir fricción. - Mantener el sistema fácil de cambiar. - Evolucionarlo continuamente. Aquí: - Hacemos releases frecuentes. - Trabajamos con ownership compartido. - Revisamos diseño constantemente. - Hacemos refactor continuo. - Buscamos reducir el tiempo entre: - “Escribí código” y “Sé si realmente funciona”. Cómo colaboramos: - Trabajamos de manera altamente colaborativa. - Compartimos contexto constantemente. - Revisamos ideas temprano. - Hacemos pairing. - Discutimos diseño. - Damos feedback técnico frecuente. Para nosotros, pair programming NO significa: - “Dividir tareas y cada quien trabajar por su lado”. Significa: - Resolver problemas juntos. - Reducir incertidumbre temprano. - Compartir ownership. - Detectar errores antes de producción. - Mejorar continuamente cómo construimos software. Si disfrutas trabajar completamente aislado o prefieres ownership individual rígido sobre partes del sistema, probablemente este entorno no te resulte cómodo. Lo que probablemente NO disfrutarás aquí: - Prefieres procesos rígidos y altamente estructurados. - Necesitas tickets extremadamente detallados para avanzar. - Haces testing solo al final. - Trabajas mejor aislado. - Te incomoda recibir feedback técnico frecuente. - Piensas que TDD = “hacer pruebas después”. - Buscas equipos donde cada quien toca únicamente “su microservicio”. - Tu definición de seniority es únicamente años de experiencia o conocimiento de frameworks. Qué valoramos realmente: - Sepan reducir complejidad. - Puedan entregar incrementalmente. - Entiendan trade-offs. - Detecten fricción en procesos. - Colaboren activamente. - Tengan criterio técnico. - Sean capaces de aprender rápido. No esperamos perfección. Sí esperamos curiosidad técnica genuina. Antes de aplicar: - Trabajamos bajo principios inspirados en: - Extreme Programming (XP). - TDD. - Continuous Delivery. - YAGNI. - Refactor continuo. - Feedback-driven development. Si estos conceptos te son familiares, probablemente tengas ventaja en el proceso. Si no los conoces pero este tipo de cultura te interesa, te recomendamos muchísimo explorar: - Extreme Programming Explained — Kent Beck. No necesitas convertirte en experto para aplicar. Pero sí queremos personas con curiosidad real por mejorar cómo se construye software. Proceso: - Conversación inicial (mindset + experiencia real). - Sesión técnica práctica. - Conversación final con el equipo. No hacemos: - LeetCode. - Acertijos algorítmicos irreales. - Entrevistas teatrales. Sí evaluamos: - Cómo piensas. - Cómo colaboras. - Cómo diseñas. - Cómo abordas problemas. - Cómo reaccionas al feedback técnico. - Cómo trabajas bajo incertidumbre real. Nota importante: Si sientes que tu CV NO refleja completamente este tipo de mindset técnico-cultural, pero esta forma de trabajar te entusiasma genuinamente: aplica de todos modos. Nos interesa mucho más: - Cómo piensas. - Cómo aprendes. - Cómo colaboras. - Cómo reaccionas al feedback. Más allá de tu CV, queremos entender cómo piensas y cómo trabajas. No buscamos respuestas “correctas”. Buscamos honestidad, criterio y claridad técnica. Benefits - 🚀 Integración a marcas globales y startups disruptivas. - 🏡 Trabajo remoto/Home office. - 📍 En caso de requerir modalidad híbrida o presencial, serás informado desde la primera sesión. - ⏳ Horario ajustado a la célula de trabajo/proyecto asignado. - 📅 Trabajo de lunes a viernes. - 🎉 Día off en tu cumpleaños. - 🏥 Seguro de gastos médicos mayores (aplica para México). - 🛡️ Seguro de vida (aplica para México). - 🌎 Equipos de trabajo multiculturales. - 🎓 Acceso a cursos y certificaciones. - 📢 Meetups con invitados especiales del área de IT. - 📡 Eventos virtuales de integración y grupos de interés. - 📢 Clases de inglés. - 🏆 Oportunidades dentro de nuestras diferentes líneas de negocio. - 🏅 Orgullosamente certificados como Great Place to Work.
• Develop and maintain distributed, robust and scalable Go programs deployed to Kubernetes environments that manage large datacenters • Develop and maintain user-space applications, containers, Go-bindings, and CLI tools. • Enable GPU management integration with the state-of-the-art open-source ecosystem, including Kubernetes and Docker. • Support internal and external users through bug fixes, documentation, and feature improvements. • Maintain high-quality products through robust test coverage.
• Support a financial market client together with CI&T; • Develop backend components; • Design, develop and maintain high-quality, high-performance microservices; • Actively participate in all phases of the software development lifecycle, including technical refinement, development, testing and deployment; • Collaborate with the team to propose and implement technical solutions aligned with business requirements; • Participate in code reviews, ensuring quality and adherence to best practices; • Work collaboratively with teammates and clients, fostering a productive and harmonious environment; • Maintain clear and efficient communication with all team members to facilitate information sharing and alignment of goals.



