Programista Big Data

Branża: Bankowość

Lokalizacja: Hybryda z Warszawy (1 dzień na 2 tygodnie z biura w Warszawie)

Stawka: do 160 zł/h na b2b

Podsumowanie: Rola Programisty BigData polega na tworzeniu rozwiązań do przetwarzania dużych zbiorów danych, które mają na celu efektywne zarządzanie danymi w organizacji. Kluczowe umiejętności to programowanie w Spark oraz zaawansowana znajomość SQL i Big Data.

Główne Zadania:

• Wdrażanie i projektowanie architektury systemów big data

• Implementacja procesów przetwarzania danych zgodnie z wymaganiami klienta

• Praca w zespole zgodnie z metodyką Scrum

• Integracja różnych źródeł danych

• Dokumentacja i testowanie rozwiązań big data

Kluczowe Wymagania:

• Min. 5 lat doświadczenia w branży informatycznej

• Doświadczenie w projektowaniu architektury rozwiązań

• Znajomość koncepcji Big Data oraz Hurtowni Danych

• Znajomość platformy Hadoop Cloudera/Hortonworks lub podobnego narzędzia

• Umiejętność programowania w Spark procesów batch i streaming w Pythonie lub Scali (min. 4 lata)

• Znajomość technologii Apache Kafka

• Doświadczenie z formatami danych: JSON, PARQUET, ORC, AVRO

• Znajomość SQL na poziomie zaawansowanym

• Zrozumienie typów baz danych (np. Hive, Kudu, HBase)

• Doświadczenie w integracji danych z wielu źródeł

Mile widziane:

• Praktyczna znajomość narzędzi Agile (Jira, Confluence, Kanban, Scrum)

• Doświadczenie w automatyzacji CI/CD