馃 Big Data Engineer/Architect
24 000 - 32 000 PLN net
馃實 GetInData | Pu艂awska 39/20, Warszawa
馃枼 http://getindata.com/馃憠 Requirements:
GetInData jest niedu偶膮, eksperck膮 firm膮 za艂o偶on膮 przez by艂ych pracownik贸w Spotify w 2014 roku i skupiaj膮c膮 pasjonat贸w zajmuj膮cych si臋 przetwarzaniem du偶ych danych przy u偶yciu technologii open-source takich jak Hadoop, Spark, Hive, Kafka czy Flink zar贸wno on-premise jak i w chmurze. Pomagamy firmom w skutecznym i sprawnym wydobyciu warto艣ci z ogromu danych, kt贸re maj膮 do swojej dyspozycji. Zrealizowali艣my projekty dla m.in. Spotify, Truecaller, PLAY, Freshmail i wielu innych firm.
Kogo szukamy?
Szukamy osoby na stanowisko Senior Big Data Engineer, do kt贸rej obowi膮zk贸w b臋dzie nale偶a艂o budowa i rozwijanie zaawansowanych platform danych na potrzeby klient贸w Getindata oraz implementacja scenariuszy biznesowych przy wykorzystaniu nowoczesnych technologii oraz technik Big Data.
Jako ekspert b臋dziesz odpowiedzialny za nadz贸r techniczny nad zespo艂em projektowym sk艂adaj膮cym si臋 ze specjalist贸w Big Data. B臋dziesz bra艂 tak偶e udzia艂 w projektowaniu architektury i rozwijaniu budowanych przez Getindata system贸w.
Przyk艂adowe obowi膮zki
- Budowanie procesu (pipeline) czytaj膮cego strumie艅 danych (500K zdarze艅/s) z Kafki i zapisuj膮cego na HDFS zdarzenia pogrupowane wed艂ug czasu zdarzenia i kolumn partycjonowania
- Zasilanie danymi takich system贸w jak: Hive, Druid, Kylin, Cassandra, Elasticsearch
- Dob贸r optymalnych narz臋dzi i technologii Big Data w celu rozwi膮zania konkretnych wyzwa艅 dotycz膮cych potrzeb przetwarzania danych
- Budowanie etap贸w kontroli jako艣ci danych strumieniowych i zg艂aszania b艂臋d贸w w przypadku zaj艣cia anomalii
- Budowanie mechanizmu monitorowania proces贸w przesy艂aj膮cych dane (pipelines) - przepustowo艣膰, progres, u偶ycie zasob贸w
- Opracowanie modelu danych, kt贸re mo偶na odpytywa膰 w masowy albo interaktywny spos贸b
- Korzystanie z najlepszych praktyk in偶ynierii oprogramowania: DevOps, DataOps, czy CI/CD
- Uog贸lnianie, wyci膮ganie abstrakcji, automatyzacja