Future Processing
Great software... because we put people first
Senior Cloud Data Engineer - GCP
Data EngineerData EngineerFull TimeRemoteSeniorTeam 1,001-5,000Since 2000H1B No SponsorCompany SiteLinkedIn
Location
Poland
Posted
395 days ago
Salary
zł135 - zł200 / hour
Seniority
Senior
Job Description
Senior Cloud Data Engineer - GCP
Future Processing
• odpowiedzialność end-to-end za rozwiązania data-platformowe tworzone wspólnie z zespołem, • tworzenie i optymalizację potoków ETL/ELT w GCP (BigQuery, Dataflow, Dataproc, Cloud Composer), • tworzenie i modyfikowanie dokumentacji, • budowanie i utrzymywanie katalogu oraz modeli danych zgodnie z najlepszymi praktykami Data Governance, • analizę wymagań biznesowych i dobór optymalnych rozwiązań technologicznych, • analizowanie potencjalnych zagrożeń, • monitoring, diagnostykę i FinOps-owe optymalizacje kosztów chmury.
Job Requirements
- masz min. 5 lat doświadczenia w IT, w tym min. 3,5 roku w pracy z danymi w chmurze GCP (potwierdzone projektami komercyjnymi wdrożonymi na produkcje),
- budowałeś(aś) i utrzymywałeś(aś) hurtownie/data lake w BigQuery, łącząc wiele źródeł danych,
- korzystasz z SQL i Python na poziomie zaawansowanym,
- znasz metodyki i stosujesz biegle Git oraz CI/CD,
- tworzysz i optymalizujesz rozwiązania przetwarzające dane (ETL, ELT, itp.) poprzedzone projektem technicznym oraz alternatywami rozwiązań,
- masz praktyczne doświadczenie w przetwarzaniu danych przy użyciu Dataflow / Dataproc oraz orkiestracji Airflow (Cloud Composer),
- monitoring, diagnostyka oraz rozwiązywanie problemów w chmurze nie stanowi dla Ciebie problemu i dobrze wiesz, jak zaplanować infrastrukturę oraz obliczyć jej koszt,
- pracujesz w duchu DevSecOps & FinOps,
- znasz koncepcje BigLake / Lakehouse / Data Mesh,
- znasz architekturę SMP oraz MPP wraz z przykładami rozwiązań opartych o te architektury,
- potrafisz zaplanować infrastrukturę GCP, estymować i optymalizować jej koszty,
- masz doświadczenie w migracji rozwiązań on-premise do chmury i w ochronie danych (IAM, DLP, GDPR),
- swobodnie współpracujesz z klientem i interdyscyplinarnymi zespołami,
- posługujesz się j. angielskim na poziomie średniozaawansowanym (min. B2).
Benefits
- odpowiedzialność end-to-end za rozwiązania data-platformowe tworzone wspólnie z zespołem,
- tworzenie i optymalizację potoków ETL/ELT w GCP (BigQuery, Dataflow, Dataproc, Cloud Composer),
- tworzenie i modyfikowanie dokumentacji,
- budowanie i utrzymywanie katalogu oraz modeli danych zgodnie z najlepszymi praktykami Data Governance,
- analizę wymagań biznesowych i dobór optymalnych rozwiązań technologicznych,
- analizowanie potencjalnych zagrożeń,
- monitoring, diagnostykę i FinOps-owe optymalizacje kosztów chmury.
