Data Engineer Senior (he/she)

Twój zakres obowiązków

Projektowanie i rozwój rozwiązań Data Lake służących do przechowywania oraz przetwarzania dużych zbiorów danych.

Budowanie i utrzymywanie pipeline’ów przetwarzania danych w architekturze Big Data.

Implementacja oraz rozwój procesów przetwarzania danych z wykorzystaniem języków programowania takich jak Python lub Rust.

Projektowanie i optymalizacja struktur danych w środowisku Google Cloud Platform, w szczególności w bazie danych BigQuery.

Integracja systemów przetwarzania danych z wykorzystaniem architektury sterowanej zdarzeniami (np. Kafka, Pub/Sub).

Projektowanie, rozwój oraz tuning baz danych Oracle i PostgreSQL.

Utrzymywanie i optymalizacja środowisk przetwarzania danych działających na systemach Linux.

Tworzenie i rozwijanie rozwiązań do przetwarzania dużych zbiorów danych w środowisku chmurowym.

Współpraca z zespołami analitycznymi i developerskimi przy projektowaniu architektury danych.

Tworzenie dokumentacji technicznej dla budowanych rozwiązań i procesów przetwarzania danych.

Nasze wymagania

doświadczenie w budowaniu i projektowaniu rozwiązań Data Lake,

doświadczenie w programowaniu w językach programowania takich jak Python i/lub Rust,

znajomość technologii wykorzystywanych w ramach architektury sterowanej zdarzeniami takich jak Kafka lub Pub/Sub,

dobra znajomość baz danych GCP: BigQuery (projektowanie, budowa i tuning baz danych),

znajomość relacyjnych baz danych Oracle oraz PostgreSQL (projektowanie, budowa i tuning baz danych),

znajomość systemu operacyjnego Linux na poziomie zaawansowanego użytkownika.

Mile widziane

znajomość aspektów związanych z budową rozwiązań Big Data wykorzystujących możliwości GenAI (przetwarzanie danych niestrukturyzowanych takich jak transkrypcje audio, konwersje dokumentów tekstowych czy obrazów),

Automate Now,

Airflow,

Apache Spark (najlepiej w środowisku GCP DataProc),

Apache Beam (najlepiej w środowisku GCP DataFlow),

Informatica Power Center.