Dotdigital logo
Dotdigital

Go beyond the expected.

Principal Data Engineer

Data EngineerData EngineerFull TimeRemoteLeadTeam 201-500Since 1999H1B No SponsorCompany SiteLinkedIn

Location

South Africa

Posted

35 days ago

Salary

0

Seniority

Lead

Job Description

Principal Data Engineer

Dotdigital

• Lead the design and implementation of scalable, secure and resilient data systems across streaming, batch and real-time use cases. • Architect data pipelines, model and storage solutions that power analytical and product use cases; using primarily Python and SQL via orchestration tooling that run workloads in the cloud. • Leverage AI to automate both data processing and engineering processes. • Assure and drive best practices relating to data infrastructure, governance, security and observability. • Work with technologists across multiple teams to deliver coherent features and data outcomes. • Support the data team to help adopt data engineering principles. • Identify, validate and promote new tools and technologies that improve the performance and stability of data services.

Job Requirements

  • Extensive experience delivering python-based projects in the data engineering space.
  • Extensive experience working with SQL and NoSQL database technologies.
  • Proven experience with modern data warehousing and large-scale data processing tools.
  • Hands on experience with data orchestration tools.
  • Experience using cloud environments (e.g. Azure, AWS, GCP) to process, store and surface large scale data.
  • Experience using Kafka or similar event-based architectures.
  • Strong grasp of data architecture and data modelling principles for both OLAP and OLTP workloads.
  • Capable in the wider software development lifecycle in terms of agile ways of working and continuous integration/deployment of data solutions.
  • Experience as a lead or Principal Engineer on large-scale data initiative or product builds.
  • Demonstrated ability to architect data systems and data structures for high volume, high throughput systems.
  • Proven experience leading data platform modernisation or cloud migration projects.
  • Comfortable taking ownership of difficult data problems and driving them to resolution.

Benefits

  • Parental leave
  • Medical benefits
  • Paid sick leave
  • Dotdigital day
  • Share reward
  • Wellbeing reward
  • Wellbeing Days
  • Loyalty reward
  • DEI commitment

Related Categories

Related Job Pages

More Data Engineer Jobs

GFT Technologies SE logo

Senior Data Platform Engineer (m/w/d) Senior Data Platform Engineer (m/w/d)

GFT Technologies SE

Procuramos uma pessoa que: Goste de trabalhar em equipe e seja colaborativa em suas atribuições; Tenha coragem para se desafiar e ir além, abraçando novas oportunidades de crescimento; Transforme ideias em soluções criativas e busque qualidade em toda sua rotina; Tenha habilidades de resolução de problemas; Possua habilidade e se sinta confortável para trabalhar de forma independente e gerenciar o próprio tempo; Tenha interesse em lidar com situações adversas e inovadoras no âmbito tecnológico. Big enough to deliver – small enough to care. #VempraGFT #VamosVoarJuntos #ProudToBeGFT

Data Engineer35 days ago
Full TimeRemoteTeam 10,001

GFT Technologies ist ein verantwortungsvolles, KI-zentriertes globales Unternehmen im Bereich der digitalen Transformation. Wir konzipieren fortschrittliche Lösungen für die Daten- und KI-Transformation, modernisieren Technologie-Infrastrukturen und entwickeln Kernsysteme der nächsten Generation für führende Banken, Versicherungen, Industrie- und Robotik-Unternehmen. In enger Zusammenarbeit mit unseren Kunden verschieben wir Grenzen, um ihr volles Potenzial auszuschöpfen. Mit fundierter Branchenexpertise, modernsten Technologien und einem starken Partnernetzwerk bietet GFT verantwortungsvolle, KI-zentrierte Lösungen, die technologische Exzellenz mit hoher Liefer- und Kosteneffizienz vereinen. Das macht uns zu einem verlässlichen Partner für nachhaltigen Geschäftserfolg. Mit über 12.000 Technologie-Expertinnen und -Experten sind wir in mehr als 20 Ländern weltweit tätig und bieten Karrieremöglichkeiten im Bereich führender Software-Innovationen. Die GFT Technologies SE (GFT-XE) ist im SDAX der Deutschen Börse notiert. Let’s Go Beyond! Im Center of Excellence Data gestalten wir das Datenfundament für die KI-Transformation unserer Kunden. Als Senior Data Platform Engineer übernimmst du eine fachlich führende Rolle in Transformationsprojekten – mit Schwerpunkt auf regulierten Branchen, insbesondere Financial Services. Du verbindest strategisches Governance-Design mit operativer Umsetzung und sorgst dafür, dass Datenplattformen nicht nur leistungsfähig, sondern auch regulatorisch compliant, auditierbar und AI-ready sind. Wir setzen alles daran, uns gemeinsam mit dir weiterzuentwickeln, um noch besser zu werden! Unser motiviertes Team freut sich auf dich und deine Erfahrung als Senior Data Platform Engineer (m/w/d)! Deine Aufgaben - Du designst und implementierst skalierbare Datenplattformen in Cloud-Umgebungen (Azure, AWS oder GCP). - Du entwickelst moderne ELT/ETL- und Streaming-Pipelines für Batch- und Near-Real-Time-Verarbeitung. - Du setzt Lakehouse-Architekturen unter Nutzung offener Storage- und Table-Formate um. - Du modellierst Datenstrukturen nach Data Vault 2.0 oder Kimball – abhängig vom fachlichen und architektonischen Kontext. - Du baust konsumfertige Datenprodukte für Analytics-, Reporting- und KI-Anwendungsfälle auf. - Du bereitest Daten für Machine-Learning-Use-Cases vor (inkl. Feature-Engineering-Logiken), ohne selbst ML-Modelle zu trainieren. - Du stellst Datenqualität, Performance und Kostenoptimierung in der Cloud sicher. - Du implementierst Orchestrierung, Automatisierung und CI/CD-Prozesse für stabile, produktionsreife Plattformen. - Du arbeitest eng mit Data Architects, Governance-Teams und Data Scientists zusammen. - Du übernimmst technische Verantwortung innerhalb konkreter Umsetzungsprojekte. Das bringst du mit - Mindestens 3–5 Jahre Erfahrung im Aufbau moderner Datenplattformen - Fundierte Kenntnisse in mindestens einer Cloud-Plattform (Azure, AWS oder GCP) - Sehr gute SQL-Kenntnisse sowie Erfahrung mit Python (oder vergleichbar) - Erfahrung mit Streaming-Technologien (z. B. Kafka, Pub/Sub, Kinesis oder vergleichbar) - Praxis in der Datenmodellierung nach Data Vault 2.0 und/oder Kimball - Verständnis moderner Lakehouse-Architekturen und offener Speicherformate - Erfahrung mit Orchestrierung und Automatisierung von Datenpipelines - Know-how in Performance- und Kostenoptimierung in Cloud-Umgebungen - Erfahrung in der Zusammenarbeit mit Analytics- und Data-Science-Teams - Sehr gute Deutsch- und Englischkenntnisse. Das bieten wir dir - Flexible Arbeitszeiten: Um Familie und Beruf optimal zu vereinbaren, kannst du deinen Arbeitstag nach deinen individuellen Bedürfnissen gestalten. Profitiere darüber hinaus von individuellen Modellen, Workation und Sabbaticals. - Homeoffice: Egal, ob aus dem Büro oder von einem anderen Ort – mobiles Arbeiten gehört für uns zum Alltag. - Mindset: Open Door, Teamspirit und flache Hierarchien sind im #teamGFT keine Buzzwords, sondern gelebte Praxis. - 12.000 Talente weltweit: Profitiere von dem globalen Austausch mit Experten aus über 20 Ländern auf deinem Gebiet. - Weiterbildung & Zertifizierungen: Nimm an Fortbildungen, Konferenzen und Zertifizierungen teil. Wir gehen auf deine individuellen Bedürfnisse ein. - Standortbezogene Extras: Profitiere von weiteren Zusatzleistungen, wie Job Rad, Betrieblicher Altersvorsorge und vielem mehr. - Neueste Technologien: Durch die Arbeit mit international führenden Konzernen und den Einsatz interdisziplinärer Teams arbeiten wir am Puls der Zeit und setzen uns ständig mit den neuesten Methoden und Technologien auseinander.

Germany
GFT Technologies SE logo

Data Platform Architect (w/m/d) Data Platform Architect (w/m/d)

GFT Technologies SE

Procuramos uma pessoa que: Goste de trabalhar em equipe e seja colaborativa em suas atribuições; Tenha coragem para se desafiar e ir além, abraçando novas oportunidades de crescimento; Transforme ideias em soluções criativas e busque qualidade em toda sua rotina; Tenha habilidades de resolução de problemas; Possua habilidade e se sinta confortável para trabalhar de forma independente e gerenciar o próprio tempo; Tenha interesse em lidar com situações adversas e inovadoras no âmbito tecnológico. Big enough to deliver – small enough to care. #VempraGFT #VamosVoarJuntos #ProudToBeGFT

Data Engineer35 days ago
Full TimeRemoteTeam 10,001

GFT Technologies ist ein verantwortungsvolles, KI-zentriertes globales Unternehmen im Bereich der digitalen Transformation. Wir konzipieren fortschrittliche Lösungen für die Daten- und KI-Transformation, modernisieren Technologie-Infrastrukturen und entwickeln Kernsysteme der nächsten Generation für führende Banken, Versicherungen, Industrie- und Robotik-Unternehmen. In enger Zusammenarbeit mit unseren Kunden verschieben wir Grenzen, um ihr volles Potenzial auszuschöpfen. Mit fundierter Branchenexpertise, modernsten Technologien und einem starken Partnernetzwerk bietet GFT verantwortungsvolle, KI-zentrierte Lösungen, die technologische Exzellenz mit hoher Liefer- und Kosteneffizienz vereinen. Das macht uns zu einem verlässlichen Partner für nachhaltigen Geschäftserfolg. Mit über 12.000 Technologie-Expertinnen und -Experten sind wir in mehr als 20 Ländern weltweit tätig und bieten Karrieremöglichkeiten im Bereich führender Software-Innovationen. Die GFT Technologies SE (GFT-XE) ist im SDAX der Deutschen Börse notiert. Let’s Go Beyond! Im Center of Excellence Data entwickeln wir moderne, skalierbare AI-Ready Data Platforms, die Analytics- und KI-Use Cases produktiv ermöglichen. Als Data Platform Architect übernimmst du die architektonische Verantwortung in Kundenprojekten. Du konzipierst Cloud- und Lakehouse-Architekturen, die leistungsfähig, sicher, governance-konform und zukunftssicher sind – mit klarem Fokus auf die Bereitstellung hochwertiger Daten für KI- und ML-Anwendungen. Du arbeitest eng mit Engineers, Governance-Experten und Fachbereichen zusammen und stellst sicher, dass Architekturlösungen langfristig tragfähig sind. Wir setzen alles daran, uns gemeinsam mit dir weiterzuentwickeln, um noch besser zu werden! Unser motiviertes Team freut sich auf dich und deine Erfahrung als Data Platform Architect (m/w/d) Deine Aufgaben - Du entwirfst End-to-End-Architekturen für moderne Datenplattformen in Cloud-Umgebungen (Azure, AWS oder GCP). - Du definierst Zielarchitekturen für Lakehouse-, Data-Warehouse- und hybride Plattformmodelle. - Du verantwortest Architekturentscheidungen hinsichtlich Skalierbarkeit, Sicherheit, Governance und Kostenoptimierung. - Du konzipierst Datenarchitekturen zur Unterstützung von KI- und ML-Use-Cases – einschließlich Feature-Bereitstellung und strukturierter Datenprodukte. - Du strukturierst Datenflüsse für Batch- und Streaming-Szenarien. - Du definierst Modellierungsstrategien (z. B. Data Vault 2.0 oder dimensionale Modellierung nach Kimball). - Du stellst die Integration von Data Governance- und Compliance-Anforderungen sicher. - Du führst Architektur-Workshops durch und übersetzt fachliche Anforderungen in belastbare technische Konzepte. - Du begleitest die Umsetzung durch Engineering-Teams und sicherst Architekturqualität. Das bringst du mit - Mehrjährige Erfahrung (typisch 5–8+ Jahre) im Bereich Datenarchitektur oder Data Platform Design - Fundierte Kenntnisse in mindestens einer Cloud-Plattform (Azure, AWS oder GCP) - Tiefes Verständnis moderner Lakehouse- und Data-Warehouse-Architekturen - Erfahrung in der Definition skalierbarer Datenmodelle (Data Vault 2.0 und/oder Kimball) - Architekturverständnis für Streaming- und Batch-Verarbeitung - Erfahrung in Security-, Access- und Governance-Konzepten für Datenplattformen - Fähigkeit, komplexe technische Sachverhalte strukturiert und verständlich zu vermitteln - Multi- Multi-Cloud Erfahrung und Beteiligung an Transformations- oder Modernisierungsprogrammen von Vorteil. - Sehr gute Deutsch- und Englischkenntnisse. Das bieten wir dir - Flexible Arbeitszeiten: Um Familie und Beruf optimal zu vereinbaren, kannst du deinen Arbeitstag nach deinen individuellen Bedürfnissen gestalten. Profitiere darüber hinaus von individuellen Modellen, Workation und Sabbaticals. - Homeoffice: Egal, ob aus dem Büro oder von einem anderen Ort – mobiles Arbeiten gehört für uns zum Alltag. - Mindset: Open Door, Teamspirit und flache Hierarchien sind im #teamGFT keine Buzzwords, sondern gelebte Praxis. - 12.000 Talente weltweit: Profitiere von dem globalen Austausch mit Experten aus über 20 Ländern auf deinem Gebiet. - Weiterbildung & Zertifizierungen: Nimm an Fortbildungen, Konferenzen und Zertifizierungen teil. Wir gehen auf deine individuellen Bedürfnisse ein. - Standortbezogene Extras: Profitiere von weiteren Zusatzleistungen, wie Job Rad, Betrieblicher Altersvorsorge und vielem mehr. - Neueste Technologien: Durch die Arbeit mit international führenden Konzernen und den Einsatz interdisziplinärer Teams arbeiten wir am Puls der Zeit und setzen uns ständig mit den neuesten Methoden und Technologien auseinander.

Germany
Duetto Research logo

Staff Software Engineer — Data Integrations Platform

Duetto Research

Duetto is an equal opportunity employer. We celebrate diversity and are committed to creating an inclusive environment for all employees. All qualified applicants will receive consideration for employment without regard to race, colour, religion, sex, sexual orientation, gender identity, national origin, disability, veteran status, or any other characteristic protected by applicable law. Sound like you? If this role has you excited, we'd love to hear from you — even if you don't tick every box. At Duetto, we hire for potential, perspective, and the drive to make things happen. Apply and let's start a conversation.

Data Engineer35 days ago
Full TimeRemoteTeam 51-200

Staff Software Engineer — Data Integrations Platform Every hotel booking, rate change, and demand signal that flows into Duetto's platform passes through the systems you'll build. This is a high-leverage, greenfield-meets-legacy role: you'll be the architect of Frontdoor — a next-generation, format-agnostic integration platform that consolidates three fragmented ingestion systems into a single, template-driven pipeline — while maintaining the Java infrastructure that keeps 80+ integrations running today. What Makes Us Different? Duetto is the hospitality industry's leading revenue management platform, founded in 2012 by former Wynn Resorts executives who knew the industry needed better technology. We built the world's first Revenue & Profit Operating System — a suite of tools (GameChanger, ScoreBoard, BlockBuster, Advance and more) that goes beyond room pricing to give hotels, resorts and casinos a complete picture of their revenue and profitability. Trusted by clients ranging from independent boutique hotels to global chains, we've been named the #1 Revenue Management Software by HotelTechAwards four years running and the #1 Best Place to Work in Hotel Tech in 2025. Backed by GrowthCurve Capital since 2024, we're accelerating our investment in AI — and we're genuinely passionate about the industry we serve. We build products we're proud of, for customers we care about. What You'll Be Doing - You'll architect and build Frontdoor — a Python-based integration platform using FastAPI, Pydantic, and PyArrow that normalises data from global partners (RateGain, Lighthouse, PMS/CRS vendors) into industry-standard Parquet datasets on S3, consumable by any downstream revenue management system. - You'll design and orchestrate data pipelines via Kestra with event-driven triggers and multi-step normalisation flows, while maintaining and modularising the existing Java Integration Service that handles SOAP/XML and REST/JSON across 80+ live integrations. - You'll own the cloud footprint — infrastructure as code using Terraform for AWS (EKS, S3, RDS, Secrets Manager) and Helm for Kubernetes — and drive schema evolution strategies, contract testing, template compliance, and observability across the platform. - You'll pioneer AI-augmented engineering workflows using Claude Code and 17+ custom agents orchestrated via Claude MPM, with human-in-the-loop approval gates for architecture and deployments — and contribute to our in-house MCP server platform with 82+ tools that connect agents directly to internal services. - You'll drive technical standards across the team: design docs, architecture decisions, code quality, and system design — influencing without formal authority in the way Staff engineers do. - You'll mentor engineers across US and LATAM teams, raising the bar on backend and data engineering craft in a collaborative, low-ego environment where growth goes in both directions. What We're Looking For You may be a good fit if you have: - 7+ years building production backend systems - Deep experience in Java (Spring ecosystem) with working proficiency in Python - A strong track record in data ingestion, schema evolution, and high-volume data processing - Production AWS experience across S3, SQS/SNS, EKS/ECS, and IAM - The ability to navigate a legacy monolith while simultaneously building a new platform — knowing when to refactor and when to replace - A history of driving architecture decisions and writing design docs without needing formal authority to do it Strong candidates may also have: - Experience with Kestra, Airflow, or similar workflow orchestrators - Knowledge of the hospitality domain — PMS/CRS systems, rate shopping, channel distribution - Genuine interest in AI-assisted development, prompt engineering, and LLM coding agents Why Duetto? - You'll be building something that doesn't exist yet. Frontdoor is a greenfield platform with real architectural scope — this is the kind of problem that defines a Staff engineer's career, not just their sprint. - AI is genuinely how we work. With 17 specialised agents, 82+ MCP tools, and Claude MPM orchestrating human-in-the-loop workflows, you'll be contributing to one of the most mature AI-augmented engineering setups in the industry. - The stakes are real. Every hotel booking and demand signal in the platform flows through the systems you'll own. High-volume, high-availability, genuinely consequential. - Technical influence without bureaucracy. This is a Staff-level IC role — you'll shape architecture and standards across teams without needing a management title to do it. - A team worth being part of. Low ego, high EQ, intellectual curiosity, and active mentorship across a collaborative US and LATAM group. The Details - Location: Croatia (Remote) - Team: Integrations - Direct reports: None - Travel: None Duetto is an equal opportunity employer. We celebrate diversity and are committed to creating an inclusive environment for all employees. All qualified applicants will receive consideration for employment without regard to race, colour, religion, sex, sexual orientation, gender identity, national origin, disability, veteran status, or any other characteristic protected by applicable law. Sound like you? You don't need to have worked in hospitality or ticked every box above. If you're a strong backend and data engineer who's excited by greenfield architecture, legacy modernisation, and an engineering culture where AI is already part of the daily workflow — we'd love to hear from you. #LI-REMOTE

Croatia
Full TimeRemoteTeam 201-500

Hello and thank you for your interest! We're looking for folks nationwide who are great at data entry and typing. We offer a flexible work from home remote position that allows you to stay home with the family! The pay range is flexible from $16/ph to $30/ph DOE and level of experience. You'll meet these requirements to work from home remotely • Stable Internet connection • Work can be done using the following: Phone device, laptap or computer • Must be able to type accurately with a minimum speed of 30 words per minute • Able to focus on tasks without being distracted • Must be resident of the US • Not afraid of emailing clients as needed We're looking for folks who we can depend on who can work from home remotely without distraction and are go-getters. Pay range from 16 to 30 hourly depending on the role, level of experience and proven ability to work from home at the same level as from an office. Data entry clerks come from all different backgrounds including, data entry, telemarketing, customer service, sales, clerical, secretary, administrative assistant, warehouse, inventory, receptionist, call center, part-time, retail fields & more • Must be 16 years of age or older • Must be proficient with basic PC skills • Must have an internet connection • Basic english written language • Basic english spoken language Thank you for your interest!

United States
$16 - $30 / hour