Junior Big Data Developer (bankowość)

Branża: bankowość

Lokalizacja: głównie praca zdalna, 2 dni w miesiącu z biura w Warszawie

Stawka: do 105 zł/h

Podsumowanie: Głównym celem tej roli jest wnoszenie wkładu w projekty Big Data poprzez rozwój i zarządzanie procesami danych, zapewnienie skutecznej analizy i przechowywania danych, co ostatecznie ułatwia podejmowanie decyzji w organizacji.

Zadania:

• Opracowywanie i utrzymanie frameworków do przetwarzania danych przy użyciu Sparka w Pythonie lub Scali.

• Integruj dane z wielu źródeł w spójną architekturę.

• Obsługuje różne formaty danych, w tym JSON, PARQUET, ORC i AVRO.

• Wykorzystaj ekosystem Hadoop, a konkretnie Cloudera lub Hortonworks, do przechowywania i przetwarzania danych.

• Wdrażaj najlepsze praktyki w zarządzaniu i przetwarzaniu danych.

• Współpracuj z zespołami, aby zapewnić jakość i dostępność danych.

Wymagane:

• Minimum 2 lata doświadczenia w branży IT.

• Znajomość koncepcji Big Data, hurtowni danych i zarządzania danymi.

• Doświadczenia z Hadoop Cloudera/Hortonworks.

• Co najmniej rok doświadczenia w programowaniu procesów danych w Spark w Pythonie (lub Scali).

• Biegły w SQL na zaawansowanym poziomie.

• Zrozumienie różnych typów baz danych i przypadków użycia, takich jak Hive, Kudu, HBase itd.

• Doświadczenie w integracji danych z wielu źródeł danych.

Mile widziane:

• Praktyczna wiedza o procesach i narzędziach Agile: Jira, Confluence, Kanban, Scrum itd.

• Znajomość najlepszych praktyk przetwarzania dużych zbiorów danych, w tym kodowania, dokumentacji, testowania i standardów wdrożenia.

• Znajomość platformy Kubeflow.

• Praktyczne doświadczenie z automatyzacją CI/CD.