Big Data Developer

Dla naszego klienta z obszaru bankowości poszukujemy osoby na stanowisko BigData Developera.

W zakresie obowiązków na stanowisku Big Data Engineer będzie należało wdrażanie i projektowanie nowoczesnych systemów przetwarzania danych i systemów big data zgodnie z procesem Scrum i wymaganiami klienta.

Doświadczenie zawodowe

• Min. 5 lata w branży informatycznej

• Znajomość koncepcji Big Data, Hurtowni Danych i Zarządzania Danymi

• Znajomość platformy Hadoop Cloudera/Hortonworks

• Znajomość dobrych praktyk przetwarzania dużych zbiorów danych, w tym standardów projektowania, kodowania, dokumentowania, testowania i wdrażania

• Min. 3 lata komercyjnego doświadczenia w Python/ Scala/ Java

• Praktyczne doświadczenie w implementacji i optymalizacji procesów Spark

• Doświadczenie z różnymi formatami danych: JSON, PARQUET, ORC, AVRO

• Zrozumienie typów baz danych i scenariuszy użycia, np. hive, kudu, hbase itp.

• Znajomość języka SQL na poziomie zaawansowanym

• Doświadczenie w integracji danych z wielu źródeł danych

• Znajomość narzędzi do budowy projektów/aplikacji, np. Maven

• Praktyczna wiedza w zakresie automatyzacji CI/CD

Nice to have:

• Praktyczna znajomość procesów i narzędzi Agile: Jira, Confluence, Kanban, Scrum itp.

• Znajomość platformy Kubeflow• Znajomość technologii i narzędzi strumieniowych takich jak Kafka, Apache Nifi

• Umiejętność tworzenia skryptów do automatyzacji (Ansible)

Praca hybrydowa: spotkanie w biurze (Warszawa) raz na 2 tygodnie.

Zatrudnienie w oparciu o B2B lub UoP.