Data Engineer Senior (he/she)

Twój zakres obowiązków

• Projektowanie, budowanie i utrzymywanie struktury danych oraz systemów ETL (Extract, Transform, Load).

• Optymalizacja procesów przetwarzania danych w celu zapewnienia efektywności i wydajności.

• Współpraca z zespołami analityków danych i inżynierów oprogramowania w celu zrozumienia wymagań dotyczących danych.

• Zapewnienie jakości i integralności danych poprzez implementację odpowiednich testów i monitoring.

• Tworzenie i dokumentowanie architektury danych oraz procesów przetwarzania.

• Udział w projektach związanych z migracją danych oraz integracją nowych źródeł danych.

• Zarządzanie bazami danych i optymalizacja zapytań w celu zwiększenia wydajności.

• Przeprowadzanie analiz dotyczących wydajnościowych i kosztowych aspektów rozwiązań danych.

• Szkolenie i mentoring młodszych inżynierów danych oraz uczestnictwo w procesach rekrutacyjnych.

• Utrzymywanie się na bieżąco z techologiami i trendami w dziedzinie big data oraz inżynierii danych.

Nasze wymagania

• Co najmniej 5-letniego doświadczenia jako Data Engineer GCP w obszarze procesów integracji danych na GCP:

• Bardzo Dobra znajomość baz danych GCP : GCP Big Query, GCP Big Table, Scylla Cloud (projektowanie, budowa i tiuning baz danych)

• Dobra Znajomość narzędzi ETL Flow na GCP : Apache AirFlow , GCP Data Flow, GCP Data Proc

• Korzystanie z kolejek : Kafka, GCP Pub / Sub

• Co najmniej 4-letnie doświadczenie jako Developer ETL w obszarze procesów integracji danych na on-prem :

• Biegłe posługiwanie się narzędziami ETL na on-prem na poziomie zaawansowanym : Informatic Power Center , ** NIFI

• Ekspercka znajomość relacyjne bazy danych Oracle, PostgeSQL , ScyllaDB (projektowanie, budowa i tiuning baz danych)

• Bardzo dobra znajomość narzędzia harmonogramującego Automate Now firmy Infinity Data

• Umiejętność wystawiania usług Rest API

• Co najmniej 3-letnie doświadczenie jako programista w językach :

• Biegła znajomość Python (w obszarze integracji i analizy danych), i frame work PySpark

• Znajomość języka Rust do pisania narzędzi i frame worków wspomagających wydajne ładowanie danych

• Z czasem przejęcie odpowiedzialności za wybrany obszar przetwarzania i wystawiania danych pod usługi w wysokim reżimie wydajnościowym

Mile widziane

• Chociaż podstawowa wiedza w zakresie programowania MicroServices w języku JAVA

• Korzystanie z systemu operacyjnego linux na poziomie zaawansowanego użytkownika,

• Doświadczenie w pracy z dużymi wolumenami danych ~100TB,

• Umiejętności analitycznego myślenia i szybkiego przyswajania wiedzy

• Samodzielności i kreatywności w rozwiązywaniu problemów

• Terminowości i rzetelności w realizacji projektów

• Mile widziana znajomość narzędzi pomocniczych : repozytorium GIT; narzędzi do monitorowania jak np. grafana ; narzędzia do testów wydajności jak Apache JMeter