Ersatzteile bis zu 50% günstiger!
Data Engineer – Rhein/Ruhr, München
Location
Germany
Posted
68 days ago
Salary
0
Seniority
Senior
Job Description
Data Engineer – Rhein/Ruhr, München
SPAREPARTSNOW GmbH
• Konzeption und Umsetzung moderner Datenpipelines: Du entwickelst und optimierst Batch- und Streaming-Datenpipelines und sorgst dafür, dass Daten zuverlässig, performant und skalierbar verarbeitet werden. • Aufbau leistungsfähiger ETL-/ELT-Prozesse: Mit Python und Databricks konzipierst, implementierst und betreibst Du robuste Datenintegrationsprozesse – von der Rohdatenaufnahme bis zur Bereitstellung für Analytics. • Entwicklung zukunftssicherer Datenmodelle: Du entwirfst, verwaltest und optimierst Datenmodelle für analytische Anwendungen und nachgelagerte Systeme und stellst deren Konsistenz und Wartbarkeit sicher. • Qualität und Stabilität der Datenplattform: Du überwachst und verbesserst kontinuierlich Datenqualität, Performance und Stabilität über die gesamte Plattform hinweg und etablierst geeignete Monitoring- und Testing-Strategien. • Enge Zusammenarbeit mit Team und Fachbereichen: Du arbeitest eng mit dem Entwicklungsteam zusammen und stimmst Dich mit den Fachbereichen zu datenbezogenen Anforderungen ab, um fachlich und technisch optimale Lösungen zu schaffen.
Job Requirements
- Python-Kenntnisse im Data Engineering: Du verfügst über sehr gute Kenntnisse in Python und setzt diese sicher für die Entwicklung von Datenpipelines ein.
- Erfahrung mit modernen Datenplattformen: Du hast praktische Erfahrung mit Technologien wie Databricks, Apache Airflow, Apache Spark, Google BigQuery, Microsoft Fabric oder vergleichbaren Plattformen und weißt, wie man sie effizient einsetzt.
- Sicherer Umgang mit SQL und Datenmodellierung: Du beherrschst SQL auf fortgeschrittenem Niveau und bringst fundierte Kenntnisse in relationaler Datenmodellierung mit.
- Know-how in ETL-/ELT-Architekturen: Du kennst gängige Architekturmuster für Datenintegration und hast Erfahrung in der Orchestrierung komplexer Daten-Workflows.
- Cloud- und Storage-Verständnis: Du bist vertraut mit Cloud-basierten Datenplattformen sowie Speicherlösungen wie Data Lakes oder Object Storage und verstehst deren architektonische Besonderheiten.
- Erfahrung im ML/AI-Umfeld: Idealerweise hast du bereits Erfahrung mit Machine-Learning- oder AI-Projekten gesammelt, z. B. beim Aufbau und Betrieb von AI-Workflows oder auch beim Training und der Integration von Modellen in produktive Datenprozesse.
- Qualitätsbewusstsein und Performance-Fokus: Best Practices in Datenanalyse, Datenqualität, Monitoring und Performance-Optimierung sind für Dich selbstverständlicher Bestandteil deiner Arbeit.
- Versionierung und CI/CD im Datenumfeld: Du hast Erfahrung im Umgang mit Git sowie mit CI/CD-Prozessen für Daten-Workflows und trägst so zu stabilen, reproduzierbaren Deployments bei.
Benefits
- Flexible Arbeitszeiten
- Flexibler Arbeitsort (Homeoffice)
- Dynamisches, innovatives Team
- Viel Freiraum für eigene Ideen und Kreativität
- Attraktive Vergütung mit der Möglichkeit eigener Anteile
- Weitere Benefits
Related Guides
Related Categories
Related Job Pages
More Data Engineer Jobs
Role Description As a Senior Engineer on the Data Platform team, you’ll help shape the backbone of the client's data ecosystem. The reliability and scalability of the systems you build will directly influence how quickly and confidently teams across the company can innovate using data. - Design and build scalable data pipelines, batch jobs, and streaming processes that power analytics and machine learning. - Implement and optimize data storage systems (warehouses, lakes, analytical databases) with a focus on reliability, lineage, and governance. - Develop tools and frameworks to support data orchestration, ETL workflows, and big data processing. - Collaborate with engineers, data scientists, and product managers to align platform capabilities with business needs. - Ensure data systems meet requirements for quality, scalability, and cost efficiency in cloud environments. - Contribute to technical discussions, code reviews, and system design sessions. - Take ownership of features and projects, driving them from concept to production. Qualifications - Strong background in software engineering, data engineering and distributed systems, ideally at scale (terabytes+). - Hands-on experience with modern data warehouses, lakes, and compute/storage technologies (e.g., Snowflake, Pinot, TiDB, Spark, Airflow, Kafka, Trino/Presto). - Experience designing and building robust ETL pipelines and real-time streaming processes. - Solid understanding of data governance, lineage, and cost optimization in cloud environments. - Ability to write clean, maintainable, and performant code in production systems. - Strong problem-solving skills and ability to collaborate across teams. Benefits - Competitive salary + equity - RRSP matching - 3 weeks vacation + 3 personal care days + 1 Culture & Belief day + birthdays off - Access to a comprehensive mental health care platform - Full benefits from day one of employment - Work from home reimbursements - Optional global WeWork membership for those who want a change from their home office - Robust training and onboarding program - Coverage and support of personal development initiatives (conferences, courses, etc) - Access to industry-related programmatic courses and certifications to support continuous learning - Mentorship opportunities with industry leaders - An awesome parental leave policy - A friendly, welcoming, and supportive culture - Our social and team events!
• Consegue propor o melhor tipo de arquitetura para criação de pipeline de dados com base em um problema pré definido (ex: arquitetura lambda, arquitetura kappa, ETL, Scrapping, etc); • Tem conhecimento avançado de cloud computing e consegue defender as melhores peças de infraestrutura para um problema proposto (ex: Kubernetes, VMs, ECS, etc); • Consegue identificar e propor otimizações para problemas de performance em alguma etapa da arquitetura de dados (ex.: clusters de Spark, clusters de Kafka, bancos de dados, etc); • Capacidade de atuar em incidentes complexos, implementar monitoramentos e propor soluções que resolvam o problema na causa raiz.
• Able to propose the most appropriate architecture for building data pipelines based on a defined problem (e.g., Lambda architecture, Kappa architecture, ETL, scraping, etc.) • Advanced knowledge of cloud computing and able to recommend the most suitable infrastructure components for a given problem (e.g., Kubernetes, VMs, ECS, etc.) • Capable of identifying and proposing optimizations for performance issues at any stage of the data architecture (e.g., Spark clusters, Kafka clusters, databases, etc.) • Able to handle complex incidents, implement monitoring, and propose solutions that address root causes.
• Contribute to and evolve our cloud infrastructure across compute, storage, networking, IAM and security controls • Build and maintain CI/CD pipelines across a mixed TypeScript and Python codebase • Operate and improve our primary data stores — relational and graph databases • Design and implement data pipelines that move, transform and validate data across the platform • Implement observability — structured logging, distributed tracing and alerting • Contribute to security and compliance posture across services • Build internal developer tooling that makes iteration fast and safe • Support deployment and scaling of research workloads including GPU-based training runs


