We are all Humans!
Data Engineer – Apache Airflow, Spark, AWS
Location
Portugal
Posted
14 days ago
Salary
0
Seniority
Senior
Job Description
Data Engineer – Apache Airflow, Spark, AWS
HumanIT Digital Consulting
• Join a mission-driven health technology company building a global evidence network • Part of a core data engineering team responsible for designing and operating pipelines • Ingest, transform, and standardize real-world health data • Translate complex source data structures into recognized healthcare data standards (FHIR, OMOP-CDM) • Ensure data quality, security, and scalability across the platform • Work in a fast-paced, engineering-led environment
Job Requirements
- Advanced SQL skills — complex transformations, performance optimization, data modeling
- Strong Python proficiency for pipeline development and automation
- Proven senior-level track record as a Data Engineer, with experience scaling data products from pilot to production
- Hands-on experience building and optimizing big data pipelines, architectures, and datasets using tools such as Apache Airflow and/or Apache Spark
- Experience with AWS technologies (Redshift, S3, or equivalent managed services)
- Strong analytical skills when working with unstructured and semi-structured datasets
- Solid understanding of data science and Big Data concepts
- Excellent written and verbal communication skills in English (B2+)
- Self-driven, ownership mentality, proactive approach to problem-solving
- NICE TO HAVE (Preferred) Experience with health data frameworks: OMOP-CDM and/or FHIR
- Familiarity with additional stack components: Dagster, Trino, ClickHouse, Airbyte
- Experience with data quality assurance, writing test specifications and test case scenarios
- Background working in healthcare or life sciences data environments
- Experience in agile/continuous delivery engineering teams
Benefits
- Fully remote position
Related Guides
Related Categories
Related Job Pages
More Data Engineer Jobs
• Own the blueprint for the next-generation Jellyfish data platform. • Design and automate strict, code-driven environment isolation boundaries. • Modernize workflow orchestration and distributed compute engines. • Partner with application teams to ensure secure, cached API layers. • Build and maintain granular data-quality monitors and cost-allocation frameworks.
• Write clean, modular Python and optimized SQL for data transformations. • Manage and tune workflow orchestration engines (like Prefect or Dagster). • Use Terraform for infrastructure deployment and management. • Collaborate with developers for API and caching integration. • Participate in incident response rotation for pipeline issues.
• Maintain end-to-end data pipelines using Python and SQL. • Migrate, optimize, and maintain workflow orchestration engines. • Build the "paved road" for data deployments using Terraform. • Collaborate with product developers for API and caching integration. • Participate in data platform's incident response rotation.
Professional Data Scientist / DevSecOps Engineer
Wavestone Germany AGLet’s power the future together. Vom Business Case bis hin zur Umsetzung: Als führendes Beratungsunternehmen für strategische Transformationen sind wir vertrauenswürdiger Partner für unsere Kunden - und für unsere Mitarbeitenden. Verantwortungsvoll, leistungsstark und immer mit dem Menschen im Fokus. #WeAreWavestone Mit unserem 360°-Portfolio an Beratungsleistungen verbinden wir erstklassige Branchenexpertise mit einem breiten Spektrum an branchenübergreifenden Kompetenzen, arbeiten interdisziplinär und denken über den Tellerrand hinaus. Wir freuen uns über eine Kontaktaufnahme!
Role Description Für ein langfristiges Projekt bei unserem Kunden im Raum Solothurn (mit Remote-Anteil), suchen wir einen Professional Data Scientist / DevSecOps Engineer (m/w/d) - Data Engineering / Azure Synapse / ETL / Cloud DWH. - Zusammenarbeit mit fachlichen Anforderern zur Erarbeitung von Lösungen, bei denen Wirkung und Nutzen im Vordergrund stehen - Entwicklung und Bereitstellung von Datengrundlagen für fachliche Entscheidungsträger - Weiterentwicklung und Pflege von DataMarts, Datalakes und Cloud-DWH sowie die Sicherstellung der Datenqualität - Aufbau und Betrieb eines Digital Twin Produktes mit Near Real Time Daten und Stream Processing Funktionalitäten - Design und Entwicklung von automatisierten, skalierbaren Datapipelines sowie Integrations- und Bereitstellungsworkflows in ETL-Prozessen und deren Dokumentation - Ausbau und Betrieb der Monitoring-Lösung der Datapipelines und ETL-Prozesse Qualifications - Mehrjährige Berufserfahrung im Bereich Data Engineering / Datenmodellierung (Synapse, Azure Pipelines, Matillion, ADX) und Cloud-basierten Systemen - Fundierte methodische Kenntnisse und praktische Erfahrung in der Entwicklung von Datenintegrationsprozessen und Data Warehouse Lösungen - Routinierter Umgang mit SQL und Datenmodellierung - Selbstständige, lösungsorientierte Arbeitsweise mit hohem Qualitätsanspruch - Leidenschaft für Daten und Analyse - Verhandlungssicheres Deutsch (mündlich und schriftlich) und Kenntnisse in Englisch Requirements - Praktische Erfahrung mit Cloud-Ökosystemen, idealerweise mit Microsoft Azure und Infrastructure as Code - Erfahrung im Erstellen von Analysen und Visualisierung von Daten in Python (und PowerBI) - Erfahrung in Azure Functions und agiler Arbeitsweise wie zum Beispiel Scrum oder SAFe - Sicherer Umgang mit Jira und Confluence Benefits - Einsatzzeitraum 01.06.2026 - 31.12.2026 mit Option auf Verlängerung - Pensum 80-100% - Einsatzort Raum Solothurn mit Remote-Anteil - pro Woche
