Data Engineer Middle

• udział w projekcie z obszaru integracji oraz przetwarzania danych w środowiskach chmurowych i on‑prem,
• realizacja zadań związanych z budową i rozwojem procesów integracyjnych w GCP oraz on‑prem,
• praca z narzędziami ETL w środowisku GCP: Apache AirFlow, DataFlow, DataProc,
• wykorzystanie baz danych GCP: BigQuery, BigTable oraz Scylla Cloud,
• praca z kolejkami danych: Kafka, GCP Pub/Sub,
• projektowanie, budowa i tuning baz danych w środowiskach on‑prem (Oracle, PostgreSQL, ScyllaDB),
• korzystanie z narzędzi ETL na on‑prem na poziomie zaawansowanym: Informatica Power Center, NIFI,
• praca z narzędziem harmonogramującym Automate Now (Infinity Data),
• tworzenie i wystawianie usług REST API,
• rozwój narzędzi i frameworków w Pythonie oraz PySpark,
• tworzenie narzędzi wspomagających wydajne ładowanie danych w języku Rust,
• odpowiedzialność za obszar wystawiania danych pod usługi działające w wysokim reżimie wydajnościowym (24h),
• praca w środowisku dużych wolumenów danych (~100 TB),
• praca w modelu hybrydowym: 1 dzień w tygodniu w biurze w Warszawie,
• stawka do 135 PLN/h w oparciu o współpracę B2B.

• masz co najmniej 4 lata doświadczenia jako Data Engineer GCP w obszarze procesów integracji danych,
• znasz dobrze narzędzia ETL na GCP (Apache AirFlow, DataFlow, DataProc),
• biegle posługujesz się bazami danych GCP (BigQuery, BigTable, Scylla Cloud) i potrafisz je projektować oraz optymalizować,
• potrafisz pracować z kolejkami danych: Kafka, GCP Pub/Sub,
• masz co najmniej 3 lata doświadczenia jako Developer ETL w środowiskach on‑prem,
• biegle korzystasz z narzędzi ETL on‑prem: Informatica Power Center i NIFI,
• masz ekspercką znajomość baz Oracle, PostgreSQL oraz ScyllaDB,
• bardzo dobrze znasz narzędzie harmonogramujące Automate Now,
• potrafisz wystawiać usługi REST API,
• masz co najmniej 4 lata doświadczenia jako programista Python (data integration & analysis) oraz PySpark,
• dobrze znasz język Rust w kontekście tworzenia narzędzi do wydajnego ładowania danych,
• potrafisz przejąć odpowiedzialność za obszary wymagające wysokiej dostępności i wydajności,
• masz podstawową wiedzę w zakresie programowania mikroserwisów w Javie,
• mile widziana jest znajomość Groovy,
• dobrze czujesz się w systemach Linux na poziomie zaawansowanego użytkownika,
• masz doświadczenie w pracy z dużymi wolumenami danych (~100 TB),
• posiadasz rozwinięte umiejętności analityczne i szybko przyswajasz wiedzę,
• działasz samodzielnie, kreatywnie i terminowo,
• mile widziana jest znajomość GIT, Grafany i Apache JMeter.