Data Engineer

Miejsce pracy: 100% zdalnie

Start pracy: ASAP (preferowany max 30 dniowy okres wypowiedzenia)

Forma współpracy: B2B

Stawka: 135-160 zł/h netto + VAT (możliwe negocjacje w górę)

Wymagania:

• min 5 lat doświadczenia na stanowisku Data Engineer

• doświadczenie w realizacji projektów budowy hurtowni danych / data lake / data platform klasy enterprise

• bardzo dobra znajomość Google Cloud Platform w zakresie: BigQuery, Google Cloud Storage, Dataflow (batch & streaming), Composer / Airflow, podstawowa wiedza w obszarze GKE

• bardzo dobra znajomość i codzienne praktyczne doświadczenie z DBT 

• umiejętność projektowania i implementacji data pipeline (ETL/ELT)

• bardzo dobra praktyczna znajomość Python w kontekście przetwarzania danych

• doświadczenie z przynajmniej jednym z narzędzi orkiestracji strumieniowej (Kafka / Pub/Sub / Dataflow Streaming)

• umiejętność pracy w IaC (Terraform – bardzo duże plus)

• doświadczenie z Docker, Kubernetes 

• doświadczenie w testowaniu jakości danych i monitoringu (SLA, alerty, data quality framework)

• zaawansowana znajomość j.angielskiego - poziom min C1

• wykształcenie wyższe techniczne

• gotowość do pełnienia sporadycznych dyżurów on-call (do 2 razy w miesiacu)

Mile widziane:

• znajomość dbt cloud

Zadania:

• codzienna praca z dbt – budowa, utrzymanie i optymalizacja transformacji danych

• praca z BigQuery - codzienne zapytania, modelowanie, zarządzanie dużymi zbiorami

• Google Cloud Storage – etapowanie, przechowywanie i transfer danych między systemami

• orkiestracja, harmonogramy i monitoring w Google Composer / Airflow

• główny język do tworzenia pipeline, automatyzacji i usług wspierających w Python

• praca z Kafka, Dataflow, Terraform, GKE

Proces rekrutacji:

1. Krótka rozmowa telefoniczna z ITFS

2. Wstępna weryfikacja techniczna z ITFS

3. Rozmowa techniczna z Klientem

4. Rozmowa z Dyrektorem (opcjonalnie)

5. Decyzja