return to list

馃 Big Data Engineer

18 000 - 22 000 PLN net

馃實 RTB House S.A. | Niepodleg艂o艣ci 69, Warszawa

馃枼 http://www.rtbhouse.com

馃憠 Requirements:

  • Java 馃敻馃敻馃敻馃敻
  • Kafka 馃敻馃敻馃敻馃敻
  • Kafka Streams 馃敻馃敻馃敻馃敻
  • Hadoop 馃敻馃敻馃敻
  • PostgreSQL 馃敻馃敻馃敻
  • Elastic 馃敻馃敻馃敻
  • Google Big Query 馃敻馃敻馃敻
  • Flume 馃敻馃敻
  • Logstash 馃敻馃敻
  • 馃憠 Nice to have:

  • Aerospike 馃敻
  • W ramach teamu IT, do zespo艂u CORE poszukujemy  Big Data Engineer .

    Twoje zadania:
    . Rozw贸j i utrzymanie rozproszonych system贸w przetwarzaj膮cych du偶e ilo艣ci danych (wi臋kszo艣膰 real-time)
      na potrzeby naszej platformy RTB
    . Optymalizacja tworzonego oprogramowania pod k膮tem wydajno艣ci i zu偶ycia zasob贸w
    . Zapewnienie niezawodno艣ci i skalowalno艣ci budowanych rozwi膮za艅
    . Tworzenie test贸w wydajno艣ciowych i poprawno艣ciowych dla nowych element贸w systemu
    . Analiza nowych technologii pod k膮tem mo偶liwo艣ci ich zastosowania w warunkach produkcyjnych
    . Rozw贸j narz臋dzi monitoruj膮cych i analizuj膮cych prac臋 produkcyjnego systemu
    . Ci膮g艂a optymalizacja istniej膮cych narz臋dzi i proces贸w

    Wybrane wykorzystywane technologie:
    . Java, Python
    . Hadoop, Kafka
    . Kafka Streams, Flume, Logstash
    . Docker, Jenkins, Graphite
    . Aerospike, PostgreSQL
    . Google Big Query, Elastic

    Przyk艂adowe tematy:
    Wybrane zagadnienia, kt贸rymi zajmowali艣my si臋 w ostatnim czasie:
    . Wymiana frameworka w komponencie przetwarzaj膮cym dane (przej艣cie ze Storm-a na Kafka Streams)
    . Stworzenie mergera strumieni danych w oparciu o Kafka Client API
    . Stworzenie synchronizatora profili u偶ytkownik贸w mi臋dzy DC-kami w oparciu o Kafka Streams
    . Stworzenie komponentu wyliczaj膮cego agregaty w oparciu o Kafka Client API i filtry Blooma
    . Wdro偶enie Logstash-a do 艂adowania i Elastic-a do odpytywania indeksowanych danych
      (przej艣cie z Flume + Solr)
    . Stworzenie end-to-end monitoringu poprawno艣ci i op贸藕nienia danych
    . Wymiana komponentu streamuj膮cego dane do BigQuery i HDFS (z Flume na w艂asne rozwi膮zanie oparte
      o Kafka Client API) 鈥 w trakcie
    . Ci膮g艂e utrzymanie systemu, wykrywanie i rozwi膮zywanie problem贸w wydajno艣ciowych, a tak偶e skalowanie
      ze wzgl臋du na rosn膮c膮 ilo艣膰 danych

    Nasze oczekiwania:

    . Bieg艂o艣膰 w programowaniu
    . Doskona艂e rozumienie tego, jak dzia艂aj膮 z艂o偶one systemy informatyczne (od poziomu sprz臋tu, poprzez
      software, a偶 po algorytmik臋)
    . Dobra znajomo艣膰 podstawowych metod tworzenia program贸w wsp贸艂bie偶nych i system贸w rozproszonych
      (od poziomu w膮tk贸w do poziomu kontynent贸w)
    . Praktyczna umiej臋tno艣膰 obserwowania, monitorowania i analizowania dzia艂ania produkcyjnych system贸w
      (oraz wyci膮gania z tego warto艣ciowych wniosk贸w)
    . Umiej臋tno艣膰 krytycznej analizy tworzonych rozwi膮za艅 pod k膮tem wydajno艣ci (od szacowania teoretycznej
      wydajno艣ci projektowanych system贸w do wykrywania i usuwania faktycznych problem贸w wydajno艣ciowych
      na produkcji)
    . Gotowo艣膰 do pracy w modelu DevOps

    Dodatkowymi atutami b臋d膮:
    . Do艣wiadczenie w tworzeniu system贸w rozproszonych
    . Dobra znajomo艣膰 wybranych technologii Big Data takich jak Hadoop, Kafka, Storm, Spark lub Flink
    . Znajomo艣膰 metod i narz臋dzi profilowania aplikacji (najlepiej Java, zar贸wno z poziomu JVM-a jak i Linux-a)

    Oferujemy:
    . Atrakcyjne wynagrodzenie
    . Prac臋 w zespole pasjonat贸w, kt贸rzy ch臋tnie dziel膮 si臋 swoj膮 wiedz膮 i do艣wiadczeniem
    . Wyj膮tkowo elastyczne warunki pracy 鈥 nie mamy core hours, nie mamy limit贸w na urlopy, mo偶na w du偶ej
      cz臋艣ci pracowa膰 zdalnie
    . Dost臋p do najnowocze艣niejszych technologii i mo偶liwo艣膰 realnego wykorzystywania ich w projekcie o du偶ej
      skali i wysokiej dynamice
    . Sprz臋t i oprogramowanie, jakiego potrzebujesz

    Dodatkowo zamieszczmy link do naszego FAQ, gdzie znajduj膮 si臋: stawki, informacje odno艣nie firmy, stylu pracy, pracy zdalenj ect.

    http://techblog.rtbhouse.com/files/FAQ.pdf