The next-generation payments infrastructure for software companies to quickly and easily embed and monetize payments.
Staff Data Engineer
Location
United States
Posted
2 days ago
Salary
0
Seniority
Lead
Job Description
Staff Data Engineer
Payabli
• Architect the platform. Set our warehouse/lakehouse direction and stand up the data lake and layered architecture that turns our raw system of record into trustworthy, queryable, intelligence-ready data. • Build the pipelines. Design and run batch and streaming pipelines that move data reliably out of our production systems - CDC, ELT, and real-time where it matters. • Model the data. Define the canonical datasets and models the whole company depends on, getting the grain, semantics, and contracts right. • Own reliability and accuracy. This is financial data, so correctness is non-negotiable. You'll own data quality, observability, integrity checks, and the testing and monitoring that let us trust it. • Build for a regulated environment. Design in role-based access, masking, lineage, and auditability from day one, and keep sensitive financial data out of places it doesn't belong. • Enable AI/ML and analytics. Build the feature pipelines and trustworthy data foundation our intelligence work relies on, moving us from systems of record toward systems of intelligence and action. • Set the standard. Establish the practices, tooling, and CI/CD for data that the future team inherits. You're setting the bar, not just clearing it.
Job Requirements
- 8+ years building production data systems, with a track record of owning architecture and seeing big decisions through to production.
- Expert SQL and strong Python.
- Deep experience in at least one modern lakehouse/warehouse ecosystem - for example Snowflake with dbt and Fivetran, or Databricks with Spark, Delta Lake, and Unity Catalog. We care that you've gone deep somewhere and can reason from first principles across stacks, not that you've used a specific product.
- Strong data modeling skills - dimensional, normalized, or Data Vault - and a sense for designing models that age well.
- Experience with pipeline orchestration (Airflow, Dagster, Prefect, or equivalent) and large-scale processing (such as Spark).
- Production experience on a major cloud (AWS, GCP, or Azure), including security and cost patterns.
- Experience working with sensitive or regulated data - access controls, encryption, governance, and an instinct for keeping the blast radius of mistakes small.
- A high technical bar set through influence and example. You make the work and the people around you better, and you're as comfortable in the codebase as you are in a design review.
Benefits
- Competitive salary
- Stock options with the potential to unlock more equity as we grow
- Flexible PTO and paid parental leave
- Medical, dental, & vision insurance
- 401K, HSA, pre-tax savings programs
Related Guides
Related Categories
Related Job Pages
More Data Engineer Jobs
Role Description Dein täglicher Verantwortungsbereich: - Entwicklung und Verantwortung der Architektur sowie Implementierung skalierbarer ETL‑Pipelines auf Basis von Microsoft Fabric. - Effiziente, automatisierte Integration heterogener Datenquellen, darunter MySQL‑Datenbanken, APIs und weitere. - Konzeption, Planung und Umsetzung von KI- und Automatisierungsprojekten. - Weiterentwicklung der Data‑Warehouse‑Architektur durch kontinuierliche Anpassung von Datenmodellen und Strukturen an neue Anforderungen. - Entwicklung robuster Prozesse für Datenmodellierung, -gewinnung und -produktion zur Schaffung einer stabilen Grundlage für Reporting, Analytics und KI‑Anwendungen. - Hohe Standards der Datenqualität, Sicherheit und Zuverlässigkeit im Blick behalten und Integrität, Verfügbarkeit und Vertraulichkeit entlang der gesamten Pipeline sicherstellen. - Aktives Verfolgen von Trends und technologischen Entwicklungen im Bereich Data Engineering, KI und Automatisierung. Qualifications - Abgeschlossenes Bachelor- oder Masterstudium in Informatik, Informationstechnologie oder einem vergleichbaren Fachgebiet. - Mindestens 5 Jahre Berufserfahrung mit tiefem Verständnis für die Entwicklung und Implementierung moderner ETL-Pipelines. - Praktische Erfahrung im Einsatz von Automatisierungs-Tools wie Azure Logic Apps, n8n oder Make. - Kenntnisse im Umgang mit Large Language Models sowie gängigen Patterns rund um generative KI. - Fundierte Kenntnisse in Microsoft Fabric oder Microsoft Data Factory, Apache Spark und Notebooks. - Ausgeprägtes Know-how in MySQL und Routine im Umgang mit unterschiedlichen Datenbanken und Data‑Warehousing-Lösungen. - Nachweisbare Erfolgsbilanz in der Stapelverarbeitung und der Arbeit mit strukturierten Daten (idealerweise im Immobilienumfeld). - Freude an der Weiterentwicklung im Bereich Power BI. - Fließende Deutsch- und sehr gute Englischkenntnisse. Benefits - Remote Work: Flexibles Arbeitsmodell – Arbeite bis zu 100% remote innerhalb Deutschlands oder nutze unser modernes Office in Hamburg nach Bedarf. - Workation: Arbeitsumfeld mit Urlaubsfeeling – genieße die perfekte Symbiose aus produktiven Schaffen und entspannter Atmosphäre im europäischen Raum. - Wellbeing: Betriebliches Gesundheitsmanagement – ein jährliches Gesundheitsbudget sowie eine bezuschusste Mitgliedschaft beim Urban Sports Club. - Altersvorsorge: Attraktive Bezuschussung zur betrieblichen Altersvorsorge. - Hardware: Modernste Technik – damit wir gemeinsam innovativ bleiben. - Rabatte: Attraktive Angebote bei über 1.500 Anbietern aus den Bereichen Sport, Mobilität, Mode und Reisen. - Knowledge Base: Vielfältige, individuelle Entwicklungs- und Weiterbildungsmöglichkeiten. - Networking: Regelmäßige Teamevents. - Kostenlose Limonade und Obstkorb.
Senior Data Engineer
HousefulHouseful uses data insights to help clients make smarter property decisions through advanced property searches, custom financial assessments, and risk managemen
Write and review maintainable code, optimize data pipelines, collaborate with cross-functional teams, and continuously improve team performance while managing efficient data systems using Databricks, Delta Lake, Python, SQL, and PySpark.
• Diseñar el esquema físico (Target) en Amazon RDS PostgreSQL, optimizando índices, llaves foráneas y particionamiento. • Entregar los diccionarios de datos al cliente para guiar la extracción desde el sistema AS/400 (DB2). • Crear scripts de certificación de calidad de datos (Data Quality) para asegurar que la información migrada por el banco hacia AWS entre completamente limpia y normalizada a la nueva arquitectura.
• Build and maintain a robust data foundation • Develop scalable data pipelines and reliable data structures • Prepare data for reporting and AI applications • Collaborate with cross-functional teams to translate requirements into data solutions • End-to-end responsibility for data products



