Data Engineer – Azure / Databricks / AWS

• Nazwa stanowiska* Data Engineer – Azure / Databricks / AWS

• Lokalizacja* [Warszawa]

• Tryb pracy* [Zdalnie]

• Współpraca* [B2B]

• Stawka* [B2B: 150-180 zł netto/h]

O firmie/projekcie

Data Engineer będzie odpowiedzialny za projektowanie, budowę oraz rozwój nowoczesnych platform danych opartych o technologie chmurowe Microsoft Azure, AWS oraz Databricks. Rola koncentruje się na tworzeniu wydajnych procesów przetwarzania danych, wdrażaniu architektury Lakehouse oraz zapewnieniu wysokiej jakości i dostępności danych dla zespołów analitycznych, biznesowych i AI.

Kogo szukamy

• Minimum 3–5 lat doświadczenia na stanowisku Data Engineer lub pokrewnym.

• Bardzo dobra znajomość SQL oraz modelowania danych.

• Doświadczenie w tworzeniu i utrzymaniu procesów ETL/ELT.

• Praktyczna znajomość Azure Data Platform.

• Doświadczenie komercyjne z Azure Databricks oraz Apache Spark (PySpark).

• Bardzo dobra znajomość języka Python.

• Doświadczenie w pracy z usługami danych AWS:

  • S3

  • Glue

  • Athena

  • Redshift

  • EMR

  • Lambda

• Znajomość architektury Data Lake, Data Warehouse oraz Lakehouse.

• Doświadczenie z narzędziami kontroli wersji (Git).

• Znajomość zagadnień związanych z wydajnością, skalowalnością oraz bezpieczeństwem danych.

• Umiejętność pracy w środowisku Agile/Scrum.

Zadania

• Projektowanie, rozwój i utrzymanie procesów ETL/ELT dla danych pochodzących z różnych systemów źródłowych.

• Budowa i rozwój rozwiązań Data Lake, Data Warehouse oraz Lakehouse w środowiskach Azure i AWS.

• Tworzenie oraz optymalizacja pipeline’ów danych z wykorzystaniem Databricks i Apache Spark (PySpark).

• Modelowanie danych oraz implementacja warstw Bronze, Silver i Gold zgodnie z architekturą Medallion.

• Integracja danych z systemów ERP, CRM, aplikacji biznesowych, API oraz źródeł zewnętrznych.

• Wykorzystanie usług chmurowych do przetwarzania i przechowywania danych:

  • Azure: Data Factory, Data Lake Storage Gen2, Synapse Analytics, Databricks

  • AWS: S3, Glue, Athena, Redshift, EMR, Lambda

• Zapewnienie jakości danych poprzez wdrażanie mechanizmów walidacji, monitoringu i kontroli procesów.

• Optymalizacja wydajności procesów Spark oraz kosztów przetwarzania danych w chmurze.

• Automatyzacja wdrożeń i zarządzanie środowiskami z wykorzystaniem narzędzi CI/CD.

• Współpraca z zespołami Data Science, BI, Analityki oraz Architektury IT.

• Tworzenie dokumentacji technicznej oraz standardów przetwarzania danych.

• Wsparcie inicjatyw związanych z Data Governance, Data Security oraz Data Lineage.

Wymagania

Mile widziane

Co oferujemy

• Pracę na kontrakcie B2B

• Prezenty na różne okazje

• Wydarzenia firmowe

• Dostęp do platformy szkoleniowej

• Dostęp do platformy językowej