Data Engineer (Azure / Databricks / Spark)
-, Gdańsk +4 Locations
Upvanta sp. z o.o.
Miejsce pracy: Zdalnie/HybrydowoRodzaj współpracy: Umowa B2B lub Umowa o pracę
Poszukujemy doświadczonego Data Engineera, który zasili zespół w projekcie opartym na platformie Microsoft Azure. Zespół pracuje nad zaawansowanym systemem przetwarzania i analizy danych klientów, z wykorzystaniem najnowszych technologii, takich jak Azure Databricks, Apache Spark czy Machine Learning.
Twoje zadania:
Projektowanie, budowa i utrzymanie rozwiązań do przetwarzania danych w chmurze Microsoft Azure
Przetwarzanie danych z użyciem Apache Spark w Azure Databricks
Tworzenie i zarządzanie pipeline’ami danych w Azure Data Factory
Automatyzacja wdrożeń z wykorzystaniem Azure DevOps, Terraform, YAML i Azure CLI
Testowanie rozwiązań i walidacja danych we współpracy z zespołami biznesowymi
Praca z danymi w czasie rzeczywistym (real-time streaming)
Nasze oczekiwania:
Minimum 5 lat doświadczenia na stanowisku Data Engineer
Bardzo dobra znajomość środowiska Microsoft Azure, w szczególności:
Azure Databricks (Apache Spark)
Azure Data Factory
Azure Data Storage / Delta Lake
Azure DevOps (CI/CD, zarządzanie dostępem, automatyzacja)
Umiejętność projektowania i wdrażania rozwiązań chmurowych dla zaawansowanych analiz
Znajomość i doświadczenie w obszarze Machine Learning, MLOps, MLflow
Znajomość technologii i narzędzi: Python, Terraform, YAML, Parquet, Git, PowerShell, Azure CLI
Zorientowanie na jakość kodu i wydajność pipeline’ów
Umiejętność pracy zespołowej oraz dobre zdolności komunikacyjne
Co oferujemy:
Pracę przy innowacyjnym projekcie opartym o analizę danych i Machine Learning
Możliwość rozwoju w kierunku ML Engineering i MLOps
Dostęp do najnowszych technologii chmurowych i narzędzi analitycznych
Współpracę z doświadczonym i wspierającym zespołem ekspertów
Elastyczne podejście do modelu pracy i formy współpracy
Jeśli ta rola brzmi jak coś dla Ciebie – prześlij nam swoje CV.Skontaktujemy się z wybranymi kandydatami, aby omówić dalsze kroki.