Big Data Developer with Apache Spark (f/m/x)

Poszukujemy osoby na stanowisko Big Data Developer do projektu realizowanego dla klienta z sektora bankowego. W tej roli będziesz rozwijać i utrzymywać rozwiązania oparte na technologii Spark, przetwarzające duże wolumeny danych w środowisku Hadoop Cloudera/Hortonworks. Jeśli masz doświadczenie w pracy z PySpark i solidne podstawy inżynierii danych, rozumiesz koncepcje hurtowni danych oraz dbasz o zachowanie dobrych praktyk programistycznych – to może być pozycja właśnie dla Ciebie.

Praca w modelu hybrydowym: 2 razy w miesiącu z biura klienta w Warszawie.

Twoje zadania

• Projektowanie i rozwijanie rozwiązań Big Data z wykorzystaniem Apache Spark

• Przetwarzanie i integracja danych z różnych źródeł w środowisku Hadoop

• Modelowanie danych oraz optymalizacja procesów przetwarzania

• Praca z różnymi formatami danych (JSON, PARQUET, ORC, AVRO)

• Projektowanie, kodowanie, testowanie i wdrażanie rozwiązań zgodnie z dobrymi praktykami inżynierskimi

• Współpraca z zespołami analityków i inżynierów danych w środowisku Agile

Wymagania

• Min. 2 lata doświadczenia w programowaniu w Apache Spark (preferowany PySpark)

• Bardzo dobra znajomość koncepcji Big Data, hurtowni danych i zarządzania danymi

• Doświadczenie w środowisku Hadoop Cloudera/Hortonworks

• Umiejętność pracy z dużymi zbiorami danych i ich integracji z wielu źródeł

• Znajomość języka SQL na poziomie zaawansowanym

• Wykształcenie wyższe techniczne (preferowane kierunki informatyczne lub pokrewne)

• Wymagane przebywanie na terenie Polski oraz płynna znajomość języka polskiego

Mile widziane

• Doświadczenie w pracy w środowisku Agile

• Znajomość Kubeflow i technologii strumieniowych (Apache Kafka, Apache NiFi)

• Wiedza z zakresu automatyzacji procesów CI/CD