Programista Big Data z Apache Spark

Poszukujemy Programisty Big Data z Apache Spark do projektu realizowanego dla klienta z sektora bankowego. Osoba na tym stanowisku będzie rozwijać i utrzymywać rozwiązania oparte na technologii Spark, przetwarzające duże wolumeny danych w środowisku Hadoop Cloudera/Hortonworks. Idealny kandydat posiada doświadczenie w pracy z PySpark, rozumie koncepcje hurtowni danych oraz ma solidne podstawy inżynierii danych i dobrych praktyk programistycznych.

Praca w modelu hybrydowym: 2 razy w miesiącu z biura klienta w Warszawie.

Twoje zadania

• Projektowanie i rozwijanie rozwiązań Big Data z wykorzystaniem Apache Spark

• Przetwarzanie i integracja danych z różnych źródeł w środowisku Hadoop

• Modelowanie danych oraz optymalizacja procesów przetwarzania

• Praca z różnymi formatami danych (JSON, PARQUET, ORC, AVRO)

• Projektowanie, kodowanie, testowanie i wdrażanie rozwiązań zgodnie z dobrymi praktykami inżynierskimi

• Współpraca z zespołami analityków i inżynierów danych w środowisku Agile

Wymagania

• Min. 2 lata doświadczenia w programowaniu w Apache Spark (preferowany PySpark)

• Bardzo dobra znajomość koncepcji Big Data, hurtowni danych i zarządzania danymi

• Doświadczenie w środowisku Hadoop Cloudera/Hortonworks

• Umiejętność pracy z dużymi zbiorami danych i ich integracji z wielu źródeł

• Znajomość języka SQL na poziomie zaawansowanym

• Wykształcenie wyższe techniczne (preferowane kierunki informatyczne lub pokrewne)

• Wymagane przebywanie na terenie Polski oraz płynna znajomość języka polskiego

Mile widziane

• Doświadczenie w pracy w środowisku Agile

• Znajomość Kubeflow i technologii strumieniowych (Apache Kafka, Apache NiFi)

• Wiedza z zakresu automatyzacji procesów CI/CD