Mid/Senior Big Data Engineer (bankowość)

Branża: bankowość

Stawka: do 140 zł/h na b2b

Lokalizacja: głównie praca zdalna plus 1 dzień na 2 tygodnie z biura w Warszawie

Podsumowanie

W zakresie obowiązków na stanowisku Mid/Senior Big Data Engineer będzie należało wdrażanie i projektowanie architektury nowoczesnych systemów przetwarzania danych i systemów big data zgodnie z procesem Scrum i wymaganiami klienta. Systemy mogą również obejmować elementy analityki strumieniowej.

Odpowiedzialności:

• Wdrażanie i projektowanie architektury rozwiązań big data.

• Tworzenie i optymalizacja procesów przetwarzania danych za pomocą technologii Hadoop.

• Implementacja procesów batch i streaming w językach Python/Scala.

• Integracja danych z różnych źródeł danych.

• Zapewnienie zgodności z dobrymi praktykami w zakresie przetwarzania danych.

Wymagania Kluczowe:

• Min. 5 lat doświadczenia w branży informatycznej.

• Doświadczenie w projektowaniu architektury rozwiązań.

• Znajomość konceptów Big Data i hurtowni danych.

• Znajomość platformy Hadoop Cloudera/Hortonworks.

• Duże doświadczenie (min. 4 lata) w programowaniu procesów batch w Python (lub Scala).

• Duże doświadczenie (min. 4 lata) w programowaniu procesów streaming w Python (lub Scala).

• Znajomość technologii Apache Kafka.

• Znajomość formatów danych: JSON, PARQUET, ORC, AVRO.

• Znajomość języka SQL na poziomie zaawansowanym.

• Doświadczenie w integracji danych z wielu źródeł danych.

Mile widziane:

• Praktyczna znajomość procesów i narzędzi Agile: Jira, Confluence, Kanban, Scrum.

• Praktyczna wiedza w zakresie automatyzacji CI/CD.