Data Engineer Senior (he/she)

Twój zakres obowiązków

• Tworzenie i zarządzanie infrastrukturą danych, w tym bazami danych oraz systemami przetwarzania danych.

• Projektowanie i wdrażanie rozwiązań ETL (Extract, Transform, Load) do przetwarzania i migracji danych.

• Analizowanie i interpretowanie danych za pomocą narzędzi i technologii takich jak SQL, Python lub R.

• Praca z zespołem analityków i programistów w celu zrozumienia wymagań dotyczących danych i ich architektury.

• Opracowywanie dokumentacji dotyczącej procesów przetwarzania danych oraz architektury systemów.

• Monitorowanie i optymalizacja wydajności systemów przetwarzania danych oraz baz danych.

• Implementacja i utrzymywanie systemów zarządzania danymi oraz polityk dotyczących bezpieczeństwa i prywatności danych.

• Wdrażanie narzędzi i technologii do analizy i wizualizacji danych, takich jak Tableau czy Power BI.

• Udział w projektach dotyczących analizy danych i wykorzystywanie uczenia maszynowego w celu generowania wartości biznesowej.

• Utrzymywanie bieżącej wiedzy na temat nowych technologii oraz narzędzi w dziedzinie inżynierii danych i big data.

Nasze wymagania

• doświadczenie w budowaniu i projektowaniu rozwiązań Data Lake,

• doświadczenie w programowaniu w językach programowania typu: Python i/lub Rust,

• znajomość technologii wykorzystywanych w ramach architektury sterowanej zdarzeniami takie jak np. Kafka, Pub/Sub

• dobra znajomość baz danych GCP: GCP Big Query (projektowanie, budowa i tuning baz danych),

• znajomość Oracle, PostgreSQL (projektowanie, budowa i tuning baz danych),

• znajomość systemu operacyjnego Linux na poziomie zaawansowanego użytkownika

Mile widziane

• aspektów związanych z budową rozwiązań BigData wykorzystujących możliwości GenAI (przetwarzania danych niestrukturyzowanych takie jak transkrypcje audio, konwersje dokumentów tekstowych, obrazów itp.)

• Automate Now,

• AirFlow

• Apache Spark - najlepiej GCP Data Proc

• Apache Beam – najlepiej GCP DataFlow

• Informatica Power Center