Data Engineer

Data rozpoczęcia: ASAP

Zaangażowanie: Długoterminowe

Forma współpracy: B2B, pełny etat

Godziny pracy: Standardowe godziny biznesowe

Nasz klient jest jednym z wiodących operatorów telekomunikacyjnych w Polsce, oferującym usługi mobilne, dostęp do internetu oraz nowoczesne rozwiązania cyfrowe. Firma należy do międzynarodowej grupy i konsekwentnie inwestuje w innowacje, transformację cyfrową oraz rozwój technologiczny, aby utrzymać silną pozycję rynkową.

Projekt obejmuje migrację hurtowni danych z Oracle do środowiska Google Cloud Platform (GCP). Głównym celem jest budowa nowoczesnej architektury danych w chmurze przy jednoczesnym zapewnieniu wysokiej jakości danych, skalowalności oraz bezpieczeństwa.

Wymagania:

• Komercyjne doświadczenie w pracy z GCP,

• Minimum 3 lata doświadczenia jako Data Analyst, Data Quality Analyst lub w podobnej roli w organizacji opartej na danych,

• Doświadczenie w obszarze Data Quality oraz Data Governance,

• Bardzo dobra znajomość SQL i PL/SQL,

• Bardzo dobra znajomość Pythona,

• Doświadczenie w pracy z systemami Linux oraz pisaniu skryptów Bash,

• Znajomość ekosystemu Cloudera Hadoop (Apache Spark, Apache Kafka),

• Znajomość procesów ETL oraz przetwarzania danych w czasie rzeczywistym.

Zakres obowiązków:

• Budowa i utrzymanie procesów ingestii danych do Data Lake z wielu źródeł,

• Projektowanie, rozwijanie i optymalizacja złożonych pipeline’ów danych (batch oraz real-time),

• Tworzenie i rozwijanie frameworków wspierających budowę i utrzymanie pipeline’ów danych,

• Implementacja kompleksowych testów dla procesów przetwarzania danych,

• Współpraca z analitykami i data scientistami w celu zapewnienia wysokiej jakości danych,

• Zapewnienie standardów Data Governance, bezpieczeństwa oraz zgodności regulacyjnej,

• Ocena i wdrażanie nowych technologii w celu poprawy wydajności i stabilności,

• Integracja danych z systemów takich jak Kafka, MQ, SFTP, bazy danych, API oraz systemy plikowe

Mile widziane:

• Doświadczenie z CI/CD i narzędziami do automatyzacji,

• Znajomość Scali,

• Doświadczenie w zarządzaniu metadanymi oraz frameworkach jakości danych,

• Doświadczenie w pracy z różnymi źródłami danych (Kafka, MQ, SFTP, bazy danych, API, udziały plikowe),

• Udział w projektach międzynarodowych,

• Umiejętność tłumaczenia zagadnień technicznych na język biznesowy,

• Samodzielność, dbałość o szczegóły oraz proaktywne podejście,

• Znajomość języka angielskiego na poziomie min. B2