Data Engineer

O projekcie

Praca przy platformach risk & compliance, analizie transakcji, systemach audytowych.

Nasze oczekiwania

• Doświadczenie w pracy z Azure Databricks, w tym tworzenie i optymalizacja potoków danych przy użyciu Spark i PySpark
• Bardzo dobra znajomość Delta Lake, w szczególności w zakresie zarządzania wersjonowaniem danych, partycjonowaniem i optymalizacją zapytań
• Umiejętność modelowania danych z wykorzystaniem podejść takich jak Kimball, Snowflake lub Data Vault, oraz przeprowadzania tuningu wydajności
• Znajomość Azure Data Factory (ADF), tworzenie i zarządzanie pipeline’ami integracji danych
• Doświadczenie z Azure Functions w kontekście automatyzacji i orkiestracji przetwarzania danych
• Biegłość w programowaniu w Pythonie oraz bardzo dobra znajomość SQL w kontekście inżynierii danych
• Praktyczna znajomość formatów danych takich jak Parquet, Avro i JSON
• Znajomość systemów kontroli wersji (Git) i pracy w zespołach programistycznych, w tym udziału w przeglądach kodu i praktykach CI/CD
• Umiejętność analizy dużych zbiorów danych i rozwiązywania problemów związanych z ich przetwarzaniem i jakością
• Biegła znajomość języka angielskiego (min. B2)
• Otwartość na okazjonalną wizytę w biurze w Warszawie lub innym pobliskim oddziale klienta

Kluczowe zadania

• Projektowanie, implementacja i monitorowanie potoków danych w środowisku chmurowym z użyciem narzędzi takich jak Azure Data Factory i Databricks
• Zarządzanie strukturą i wydajnością danych w Delta Lake, w tym optymalizacja, partycjonowanie i wersjonowanie
• Projektowanie modeli danych i optymalizacja zapytań oraz procesów przetwarzania pod kątem wydajności i skalowalności
• Tworzenie i automatyzacja przepływów danych z wykorzystaniem ADF oraz Azure Functions w ramach procesów orkiestracji
• Tworzenie skryptów w Pythonie i SQL do przetwarzania, analizy i walidacji danych
• Praca zespołowa z użyciem Git oraz udział w procesach CI/CD i przeglądach kodu