Senior Azure Data Engineer

Obowiązki:

• tworzenie i wdrażanie zaawansowanych procesów ETL w środowiskach chmurowych, zapewniających płynne przesyłanie, przetwarzanie i ładowanie danych z różnych źródeł do docelowych systemów
• konfiguracja, utrzymanie i optymalizacja kluczowych usług chmurowych Microsoft Azure, takich jak Azure Databricks, Azure Data Lake Storage oraz Azure Data Factory, w celu zapewnienia wysokiej dostępności, skalowalności i wydajności rozwiązań
• ścisła współpraca z zespołem inżynierów danych, analityków oraz programistów w celu identyfikowania potrzeb biznesowych, opracowywania technicznych rozwiązań oraz dostosowywania produktów danych do wymagań klienta
• zapewnienie wysokiej wydajności procesów przetwarzania danych poprzez identyfikowanie i eliminowanie wąskich gardeł w przepływach danych, a także dbanie o odpowiednią jakość i integralność danych
• nadzór nad procesami przetwarzania danych w chmurze, monitorowanie wydajności usług oraz wprowadzanie odpowiednich poprawek w przypadku wykrycia nieprawidłowości, aby zapewnić ich ciągłość i zgodność z wymaganiami biznesowymi
• Przygotowywanie i utrzymywanie dokumentacji technicznej dla wdrożonych procesów i rozwiązań, w tym opisów procesów ETL, konfiguracji usług oraz procedur zarządzania danymi
• dbanie o efektywność pracy zespołu inżynierów danych poprzez dzielenie się wiedzą, wspieranie w rozwiązywaniu problemów oraz proponowanie nowych, ulepszonych metod pracy
• regularna komunikacja z interesariuszami projektów, w tym analitykami biznesowymi oraz menedżerami projektów, w celu uzgodnienia wymagań, aktualizacji statusu projektu oraz dostosowywania rozwiązań do zmieniających się potrzeb biznesowych.
• praca nad automatyzacją procesów wdrażania rozwiązań w chmurze, w tym integracja z narzędziami CI/CD oraz zapewnienie płynności w procesie wdrożeń nowych funkcjonalności i poprawek.

Wymagania:

• minimum 5 lat doświadczenia w pracy na stanowisku inżyniera danych lub podobnej roli, obejmujące projektowanie, wdrażanie i utrzymywanie procesów ETL oraz pracy z chmurowymi rozwiązaniami przetwarzania danych
• praktyczne doświadczenie z Microsoft Azure (w tym Blob storage, Azure Databricks, Azure Data Factory) w kontekście zarządzania i przetwarzania dużych zbiorów danych
• umiejętność efektywnego przetwarzania, przechowywania i analizowania dużych zbiorów danych, z zachowaniem wysokiej wydajności i optymalizacji procesów w celu zapewnienia szybkiej analizy danych w czasie rzeczywistym
• biegła znajomość języka angielskiego
• dobra znajomość Python
• doświadczenie w pracy z Git, Docker, Kubernetes i Linux.