Regular Data Engineer GCP

Lokalizacja: zdalnie ze sporadycznymi wizytami w biurze w Warszawie

Widełki: 115 - 130 PLN/h netto na b2b

Opis klienta:Klient to jeden z czołowych operatorów telekomunikacyjnych w Polsce, oferujący usługi telefonii komórkowej, internetu i rozwiązań cyfrowych. Jako część międzynarodowej grupy firma koncentruje się na innowacjach, transformacji cyfrowej i rozwoju technologii, aby utrzymać przewagę konkurencyjną na rynku.

Opis projektu:Projekt obejmuje migrację Hurtowni Danych z Oracle na Google Cloud Platform (GCP).

Wymagania

• Doświadczenie w pracy z platformami chmurowymi i usługami GCP – MUST HAVE

• Minimum 3 lata doświadczenia jako Data Analyst lub Data Quality Analyst w organizacji data-driven

• Doświadczenie w zarządzaniu jakością danych i praktykach zarządzania danymi

• Zaawansowana znajomość SQL i PL/SQL

• Biegłość w Python

• Doświadczenie w Linux i Bash scripting

• Znajomość technologii Cloudera Hadoop stack (Apache Spark, Apache Kafka)

• Znajomość zasad przetwarzania danych, w tym procesów ETL i przetwarzania danych w czasie rzeczywistym

  
  

Mile widziane:

• Doświadczenie z CI/CD i narzędziami automatyzacji

• Doświadczenie w Scala

• Znajomość zasad zarządzania danymi, w tym metadata management i frameworków jakości danych

• Doświadczenie w pracy z różnymi typami systemów źródłowych (Kafka, MQ, SFTP, bazy danych, API, file shares)

• Udział w projektach międzynarodowych lub wielokrajowych

• Umiejętność przekładania wyników technicznych na wnioski biznesowe

• Samodzielność, chęć ciągłego uczenia się i dbałość o szczegóły

• Biegła znajomość języka angielskiego (B2)

Obowiązki

• Budowa i utrzymanie procesów pobierania danych z różnych źródeł do Data Lake

• Projektowanie, rozwój i optymalizacja złożonych potoków danych zapewniających niezawodny przepływ danych

• Tworzenie i utrzymanie frameworków ułatwiających budowę potoków danych

• Wdrażanie kompleksowych frameworków testowych dla potoków danych

• Współpraca z analitykami i naukowcami danych w celu zapewnienia wysokiej jakości danych

• Zapewnienie solidnych praktyk w zakresie zarządzania danymi, bezpieczeństwa i zgodności

• Badanie i wdrażanie nowych technologii w celu poprawy wydajności potoków danych

• Integracja danych z różnych systemów źródłowych, w tym Kafka, MQ, SFTP, bazy danych, API oraz udziały plików

  
  

Technologie w projekcie:

• Apache Kafka, Apache Spark

• Cloudera Hadoop stack

• GCP (Google Cloud Platform)

• SQL / PL/SQL, Python, Scala (mile widziane)

• Linux, Bash, ETL

• SFTP, MQ, API, udziały plików

  
  

Oferujemy

• Stawka do 130 zł/h netto na b2b

• Przelew w dogodnej formie 

• Krótki 14-dniowy termin płatności faktury

• Bogaty pakiet usług prywatnej opieki medycznej

• Dostęp do platformy kafeteryjnej MyBenefit (umożliwiającej zamawianie kart Multisport, kart przedpłaconych do Ikea, Zalando, Notino i wielu innych)