Big Data Developer/Lead

O projekcie

Praca przy platformach risk & compliance, analizie transakcji, systemach audytowych.

Nasze oczekiwania

• Bardzo dobra znajomość języka Python, w tym umiejętność pisania skalowalnego i wydajnego kodu do przetwarzania danych
• Doświadczenie w Data Engineeringu, w szczególności w budowaniu i utrzymywaniu potoków przetwarzania danych na dużą skalę
• Znajomość narzędzi Big Data, takich jak Apache Spark oraz platform pokrewnych (np. Databricks)
• Doświadczenie z narzędziami orkiestracji danych, takimi jak Apache Airflow (lub podobne)
• Praktyczna znajomość Microsoft Azure Cloud, szczególnie w kontekście przetwarzania i przechowywania danych (np. Azure Data Lake, Azure Data Factory)
• Znajomość Dockera oraz konteneryzacji aplikacji i komponentów danych
• Znajomość technologii blockchain, w szczególności struktur danych, modeli transakcyjnych i integracji z systemami danych
• Doświadczenie z pracą w środowisku produkcyjnym, obejmujące monitoring (np. Datadog), automatyzację procesów oraz CI/CD
• Znajomość metodyk Agile, w tym praca w zespołach scrumowych, code review, współpraca z interesariuszami oraz iteracyjne dostarczanie rozwiązań
• Komunikatywna znajomość języka angielskiego (min. B2)
• Otwartość na okazjonalne wizyty w biurze klienta
• Duża samodzielność, proaktywność oraz doświadczenie w pracy z rozproszonymi zespołami

Mile widziane

• Doświadczenie w prowadzeniu zespołów lub techniczne przewodzenie projektom (leadership / mentoring, koordynacja zadań, przegląd kodu itp.)

Kluczowe zadania

• Tworzenie backendowych rozwiązań do przetwarzania i transformacji dużych zbiorów danych (Big Data)
• Praca z Spark/Databricks – budowa batchowych i/lub streamowych procesów danych
• Optymalizacja wydajności przetwarzania danych
• Orkiestracja zadań danych
• Implementacja i zarządzanie workflowami za pomocą narzędzi takich jak Airflow (lub podobnych)
• Monitorowanie i restartowanie tasków w razie błędów, zapewnianie ciągłości procesów
• Tworzenie backendowych komponentów w Pythonie
• Pisanie mikroserwisów, API lub backendowych modułów aplikacyjnych związanych z przetwarzaniem i udostępnianiem danych
• Wdrażanie rozwiązań w chmurze (Azure)
• Praca z komponentami chmury Azure, np. Azure Data Lake, Azure Functions, Azure Storage, Databricks na Azure
• Udział w budowie skalowalnych, chmurowych rozwiązań danych
• Konteneryzacja i DevOps
• Zarządzanie zespołem technicznym