Big Data Developer

O projekcie

Projekt realizowany dla instytucji odpowiedzialnej za rozwój i utrzymanie systemów informatycznych wspierających funkcjonowanie ochrony zdrowia w Polsce.

Nasze oczekiwania

• Min. 2-letnie doświadczenie na stanowisku związanym z przetwarzaniem dużych zbiorów danych jako programista
• Doświadczenie projektowe w przetwarzaniu dużych zbiorów danych
• Doświadczenie projektowe w programowaniu w języku Python
• Doświadczenie projektowe w środowisku obliczeniowym on-premise
• Doświadczenie w programowaniu w środowisku Apache Spark
• Doświadczenie w programowaniu w Apache Airflow
• Doświadczenie w programowaniu w SQL
• Znajomość zagadnień Hadoop
• Doświadczenie w programowaniu procesów ELT/ETL
• Znajomość zagadnień związanych z procesami CI/CD
• Umiejętność korzystania z systemu kontroli wersji (Git)
• Dobra organizacja pracy własnej, orientacja na realizacje celów
• Umiejętności interpersonalne i organizacyjne, planowanie
• Komunikatywność, kreatywność, samodzielność, kultura osobista i dociekliwość
• Zdolność adaptacji i elastyczność, otwartość na stały rozwój i gotowość uczenia się

Mile widziane

• Doświadczenie projektowe w obszarze ochrony zdrowia
• Doświadczenie projektowe w obszarze Hurtownia Danych
• Certyfikat z obszaru zarządzania projektem metodą zwinną (np.. Agile PM lub równoważny)
• Certyfikat potwierdzający znajomość Apache Airflow (np. Airflow Fundamentals lub równoważny)
• Certyfikat potwierdzający umiejętność tworzenia DAGów Airflow (np. Dag Authoring lub równoważny)
• Certyfikat potwierdzający znajomość Apache Spark (np. Spark Developer Associate lub równoważny)
• Certyfikat potwierdzający znajomość SQL (np.. W3Schools SQL Certificate lub równoważny)

Kluczowe zadania

• Projektowanie, implementacja i utrzymanie rozwiązań do przetwarzania dużych zbiorów danych z wykorzystaniem języka Python oraz SQL
• Realizacja projektów w środowiskach obliczeniowych on-premise z wykorzystaniem Apache Spark i Apache Airflow
• Budowa i rozwój procesów integracji danych w modelu ETL/ELT
• Przetwarzanie danych w środowiskach opartych o technologię Hadoop
• Tworzenie i utrzymywanie wydajnych pipeline’ów danych oraz automatyzacja zadań przetwarzania danych
• Wdrażanie rozwiązań zgodnych z praktykami CI/CD oraz praca z systemem kontroli wersji Git
• Współpraca z zespołami projektowymi w celu realizacji celów biznesowych związanych z analizą i przetwarzaniem danych
• Planowanie i organizacja własnej pracy w sposób umożliwiający realizację zadań zgodnie z harmonogramem
• Aktywne rozwiązywanie problemów, analiza danych oraz usprawnianie istniejących procesów
• Ciągłe poszerzanie wiedzy technicznej i gotowość do nauki nowych technologii oraz narzędzi