Senior Big Data Engineer (Python, Scala, Spark)

Clurgo to firma stworzona przez developerów dla developerów. Nasze zespoły łączą pełne spektrum kompetencji - od rozwoju oprogramowania i infrastruktury, przez analizę oraz testy, aż po strategiczne zarządzanie produktem i procesami. Realizujemy różnorodne projekty IT dla klientów z wielu branż, dbając o dobre praktyki programistyczne i zachowanie work-life balance. Tworzymy rozwiązania, które mają znaczenie - dla firm w Polsce i na całym świecie.

✅Kluczowa rola w realizacji strategicznych projektów dla globalnej jednostki ds. Zapobiegania Przestępczości Finansowej. Będziesz projektować i wdrażać rozwiązania przetwarzające dane w czasie rzeczywistym, łącząc się z wieloma zróżnicowanymi źródłami – zarówno wewnętrznymi systemami organizacji, jak i zewnętrznymi platformami globalnymi.

✅Technologie i narzędzia: Python, Scala, Spark, Hadoop, AWS (Lamba, state functions, state machine),Robot Framework, Jenkins, SQL, Docker

📌Model hybrydowy (raz w tygodniu z biura) - Warszawa/Gdańsk/Gdynia/ Łódź

Szukamy Ciebie, jeśli:

• posiadasz minimum 6-letnie doświadczenie w pracy z Python, Scala, Spark.

• posiadasz minimum 3-letnie doświadczenie z narzędziami CI/CD (w szczególności Jenkins)

• świetnie znasz ekosystem Hadoop oraz powiązane narzędzia 

• znasz architekturę i komponenty chmurowe AWS (np. Lambda, Step Functions, State Machines itp.)

• doskonale poruszasz się w obszarze baz danych – posiadasz silne umiejętności SQL oraz doświadczenie w projektowaniu przepływów danych

• posiadasz minimum 3-letnie doświadczenie w automatyzacji testów (preferowany Robot Framework)

Mile widziane:

• praktyczna znajomość systemów kontroli wersji oraz narzędzi takich jak Jira, Bitbucket 

• dobra znajomość systemu Linux oraz pisania skryptów w Bashu

• konteneryzacja: Doświadczenie w pracy z Dockerem

• znajomość technologii streamingowych oraz systemów kolejek (np. Kafka, IBM MQ itp.)

Zadania:

• budowanie skalowalnych rozwiązań real-time data, łączących się ze zróżnicowanymi źródłami (wewnętrznymi i zewnętrznymi), wykorzystując moc Spark & Scala oraz technologie kolejkowe

• odpowiedzialność za procesy przetwarzania masowych zbiorów danych, tworzenie potoków w Pythonie i Sparku, optymalizacja zapytań SQL oraz praca w ekosystemie Hadoop

• udział w osadzaniu rozwiązań w środowisku chmurowym AWS

• wdrażanie i automatyzacja procesów CI/CD

• dostarczanie czystych, przetransformowanych datasetów, które stają się głównym źródłem danych dla zaawansowanych modeli analitycznych i produktów walczących z przestępczością finansową

Czego możesz się spodziewać:

• współpracy w oparciu o kontrakt B2B

• model hybrydowy, raz w tygodniu zespół widuje się w biurze

• 🏃‍♀️benefitów: opieka medyczna, karta multisport, lekcje języka angielskiego

• 🎉integracji - lubimy spędzać razem czas

• profesjonalnego procesu rekrutacyjnego – zawsze otrzymasz od nas feedback niezależnie od decyzji

Poznaj nas lepiej👉 https://www.facebook.com/clurgo/