Twój zakres obowiązków:
🚀Analiza źródeł danych (data discovery) oraz automatyzacja procesu ich pozyskiwania do systemów analitycznych
🚀Integracja z wewnętrznymi i zewnętrznymi interfejsami API (rest api, odata)
🚀Wsparcie projektów migracyjnych z rozwiązań MS Integration Services do Spark + Airflow
🚀Budowanie struktur danych w relacyjnej hurtowni danych (MS SQL) oraz Data Lake (delta.io)
🚀Testowanie i dokumentowanie wykonywanych prac programistycznych.
🚀Monitorowanie procesów przetwarzania danych i reagowanie na potencjalne błęd
🚀Rozwijanie narzędzi automatyzujących prace programistyczne (m.in. wewnętrzna biblioteka standardowa, aplikacje konsolowe, cookiecutter oraz jinja templates)
Jak pracujemy w projektach?
• Pracujemy w metodyce Kanban
• Realizujemy swoje projekty holistycznie mając pełną kontrolę nad architekturą rozwiązania
• Wspieramy się standaryzacją rozwiązań i automatyzacją generowania kodu w celu budowania środowiska typu low-code
• Przywiązujemy uwagę do zarządzania metadanymi oraz automatycznego budowania dokumentacji przepływu danych (data-lineage)
• Tworzymy innowacyjne rozwiązania/produkty - wsparcie biznesu
Narzędzia, z których korzystamy:
• Apache Ariflow 2
• Apache Spark 3 z wykorzystaniem PySpark
• Visual Studio Code oraz JupyterHub
• Microsoft SQL Server 2022
Wymagania:
👍Bardzo dobra znajomość programowania w Python (v. 3.6+) – min 2 lata doświadczenia
👍Znajomość i umiejętność implementacji OOP oraz SOLID,
👍Umiejętność pisania testów jednostkowych i integracyjnych - TDD, znajomość frameworka pytest
Mile widziane:
👍Podstawowa znajomość procesowania danych w Python z wykorzystaniem Apache Spark lub Pandas/Dask
👍Podstawowa znajomość Apache Airflow 2+
Co możemy Ci zaproponować?
👉 Dostęp do platofrm edukacyjnych - jeżeli nie czujesz się mistrzem w Apache Spark i Apache Airflow będziesz miał/a możliwość doszkolić się :)
👉 Proste zasady – życie samo w sobie jest wystarczająco skomplikowane, dlatego w naszych działaniach kierujemy się przejrzystymi zasadami;
👉 Decyzję odnośnie formy współpracy – zostawiamy Tobie;
👉 Stawiamy na różnorodność: temperamentów, doświadczeń, metod prowadzących do celu;
👉 Poczucie humoru, team spirit i dobra atmosfera
👉 W naszym firmowym DNA zdrowie i pomoc są najważniejsze mamy prywatnego masażystę – każdy z pracowników może zapisać się 20-minutowy masaż w godzinach pracy;
👉 Możliwość rozwoju, ciągłego poszerzania i doskonalenia kompetencji w ramach szkoleń wewnętrznych i zewnętrznych👉 Udział w nieszablonowych i innowacyjnych projektach dla spółek z grupy Kaczmarski👉 Możliwość realizacji własnych pomysłów i projektów👉 Dostęp do pakietów abonamentowych w zakresie opieki medycznej, ubezpieczenia na życie oraz karty multisport.
Permanent
Check similar offers