Senior Data Engineer (Big Data Engineering)

Poszukujemy Senior Data Engineera do projektu w obszarze Group Financial Crime Prevention, gdzie będziesz współtworzyć nowoczesną platformę danych do wykrywania przestępstw finansowych.

O projekcie

Projekt skupia się na budowie i rozwoju pipeline’ów Big Data oraz aplikacji streamingowych integrujących dane z różnych źródeł, w tym systemów wewnętrznych oraz zewnętrznych dostawców danych.

Obowiązki

• Projektowanie i rozwój rozproszonych pipeline’ów Big Data do przetwarzania dużych wolumenów danych (structured & unstructured)

• Tworzenie aplikacji streamingowych integrujących dane z wielu źródeł

• Wykorzystanie Apache Spark i Scala do transformacji, wzbogacania i przetwarzania danych

• Budowa pipeline’ów danych dla analityki, wizualizacji oraz systemów AML

• Integracja systemów opartych na Kafka i Hadoop ecosystem

• Współpraca z zespołami DevOps w zakresie CI/CD i deploymentu pipeline’ów danych

• Praca w metodykach Agile i Continuous Delivery

• Zapewnienie wysokiej jakości kodu oraz skalowalności rozwiązań

Wymagania (MUST-HAVE)

• Scala

• Spark

• Big Data Ecosystem (Hadoop stack: YARN, EMR, Sqoop, Hive, etc.)

• Podstawowa znajomość Kafka

• Impala

Wymagania (NICE TO HAVE)

• AWS

• Snowflake

Oferujemy

• Kontrakt B2B

• Pracę w trybie hybrydowym (minimum 3 dni w tygodniu w biurze w Warszawie, Gdyni lub Gdańsku)

• Stabilną pracę w międzynarodowym banku w obszarze Financial Crime / AML

• Realny wpływ na bezpieczeństwo systemu finansowego

• Pracę z dużymi wolumenami danych i nowoczesnym stackiem Big Data