Senior Data Engineer
Python
Senior Data Engineer
Primaris
Warszawa
Type of work
Undetermined
Experience
Mid
Employment Type
B2B
Operating mode
Office
Primaris
Jesteśmy polską firmą (software house) z polskim kapitałem. Na rynku jesteśmy aktywni od 2010 roku, zatrudniającą ponad 200 ekspertów i ekspertek do różnorodnych projektów realizowanych w Polsce jak i Europie. Nasz tech core to głównie Java i .NET.
Tech stack
English
Airflow
Python
PySpark
CI/CD
SQL
Job description
Praca nad innowacyjnym produktem FinTech tworzonym przez zagraniczny startup.
Będziesz przygotowywał strumienie danych, budował joby ETL i wspierał zespół odpowiedzialny za modelowanie danych w budowaniu i utrzymywaniu naszych hurtowni. Czeka na Ciebie praca w zróżnicowanym, interdyscyplinarnym zespole złożonym z wykwalifikowanych specjalistów od przetwarzania danych.
Lokalizacja: Metro Wilanowska,
Twoje zadania:
- projektowanie oraz implementacja procesów ETL, modeli danych,
- ścisła współpraca z Product Ownerami,
- monitorowanie, utrzymywanie i optymalizacja strumieni danych oraz istniejących już procesów,
- wdrażanie inicjatyw dotyczących poprawy jakości danych w całej organizacji,
- implementacja i utrzymywanie API danych i mikroserwisów,
- projektowanie i tworzenie architektury Continuous Integration i Continuous Deployment,
- wspieranie analityków danych i data scientist w przygotowaniu kodu wymaganego do zadań analitycznych i machine learning.
Wymagania:
- min. 3 lata doświadczenia jako Data Engineer lub na podobnej pozycji,
- masz doświadczenie w pracy z wielkoskalowymi strumieniami danych w infrastrukturze chmurowej,
- czujesz się pewnie w pracy z python (Pandas, PySpark), dużym plusem jest znajomość R.
- potrafisz proponować nowe rozwiązania poprawiające wydajność modeli danych i procesów (postawa proaktywna),
- potrafisz projektować i zarządzać infrastrukturą Big Data opartą na chmurze (AWS lub GCP),
- masz duże doświadczenie w pracy z SQL,
- nie przeszkadza Ci praca z nieustrukturyzowanymi źródłami danych,
- pracujesz z wykorzystaniem Git, CI i TDD,
- znasz biegle j. angielski (C1),
- jesteś gotowy na sporadyczne, zagraniczne podróże służbowe.