Data Engineer / Big Data Analyst

O projekcie

Projekt realizowany dla instytucji odpowiedzialnej za rozwój i utrzymanie systemów informatycznych wspierających funkcjonowanie ochrony zdrowia w Polsce.

Nasze oczekiwania

• Min. 5-letnie doświadczenie na stanowisku związanym z analizą danych lub analizą biznesową
• Min. 2-letnie doświadczenie na stanowisku wymagającym przetwarzania i analizy dużych zbiorów danych (Big Data)
• Doświadczenie projektowe w tworzeniu i optymalizacji zaawansowanych zapytań SQL
• Doświadczenie projektowe w programowaniu w języku Python
• Doświadczenie projektowe w przetwarzaniu i analizie dużych zbiorów danych
• Doświadczenie projektowe w Data Quality
• Doświadczenie w programowaniu w SQL
• Doświadczenie w programowaniu w Python
• Doświadczenie w programowaniu w PySpark
• Znajomość zagadnień związanych z procesami ETL
• Znajomość relacyjnych baz danych
• Dobra organizacja pracy własnej, orientacja na realizacje celów
• Umiejętności interpersonalne i organizacyjne, planowanie
• Komunikatywność, kreatywność, samodzielność, kultura osobista i dociekliwość
• Zdolność adaptacji i elastyczność, otwartość na stały rozwój i gotowość uczenia się

Mile widziane

• Doświadczenie projektowe w obszarze ochrony zdrowia
• Doświadczenie projektowe w obszarze Hurtownia Danych
• Certyfikat z obszaru zarządzania projektem metodą zwinną (np.. Agile PM lub równoważny)
• Certyfikat potwierdzający znajomość Apache Airflow (np. Airflow Fundamentals lub równoważny)
• Certyfikat potwierdzający umiejętność tworzenia DAGów Airflow (np. Dag Authoring lub równoważny)
• Certyfikat potwierdzający znajomość Apache Spark (np. Spark Developer Associate lub równoważny)
• Certyfikat potwierdzający znajomość SQL (np.. W3Schools SQL Certificate lub równoważny)

Kluczowe zadania

• Analiza danych biznesowych i technicznych w celu wspierania podejmowania decyzji oraz optymalizacji procesów
• Przetwarzanie, analiza i interpretacja dużych zbiorów danych (Big Data) z wykorzystaniem Python, SQL oraz PySpark
• Projektowanie, tworzenie i optymalizacja zaawansowanych zapytań SQL w środowiskach baz danych
• Współpraca z zespołami technicznymi i biznesowymi w celu definiowania potrzeb analitycznych oraz tworzenia rozwiązań opartych na danych
• Tworzenie i utrzymywanie procesów związanych z jakością danych (Data Quality), w tym ich weryfikacja, czyszczenie i walidacja
• Programowanie rozwiązań analitycznych i integracyjnych w języku Python (w tym PySpark) w środowiskach przetwarzania danych
• Praca z relacyjnymi bazami danych oraz narzędziami ETL w celu ekstrakcji, transformacji i załadunku danych
• Wspieranie inicjatyw związanych z automatyzacją raportów i analiz, w oparciu o duże zbiory danych i zapytania
• Utrzymywanie wysokiej jakości dokumentacji technicznej oraz przekazywanie wniosków i rekomendacji interesariuszom
• Monitorowanie integralności danych oraz proponowanie i wdrażanie usprawnień w procesach analitycznych