Administrator BigData (Hadoop)

Diverse Consulting Group

Warszawa

Type of work

Undetermined

Experience

Senior

Employment Type

B2B

Operating mode

Office

Tech stack

Hadoop

master

bigdate

master

SQL

regular

Job description

Osoba odpowiedzialna za utrzymanie i rozwój architektury klastra Hadoop w warstwie oprogramowania klastra (YARN, Knox, Falcon, Zookeeper, itd.) oraz za integrację platformy Hadoop z zewnętrznymi dostawcami usług, np. LDAP oraz narzędziami klasy SIEM i monitorującymi.

Główne obowiązki:

Konfiguracja klastra w szczególności poprawne rozdysponowanie zasobów maszyn RAM'u, CPU pomiędzy poszczególne komponenty Hadoop'a.
Rekomendacje w zakresie monitorowania klastra Hadoop'a, zarówno z poziomu aplikacji Hadoop jak i systemowym oraz monitorowania zasobów na serwerach klastra hadoop.
Analiza wszelkiego rodzaju problemów na styku sytemu operacyjnego, hadoopa oraz aplikacji.
Analiza błędów Hadoop'a i działających na nim aplikacji.
Zarządzanie wszelkimi dostępami do aplikacji bigdata.
Przeprowadzanie wszelkiego rodzaju instalacji i updatów na poziomie systemu i Hadoopa.
Proponowanie zalecanych konfiguracji maszyn deweloperskich, testowych, produkcyjnych zgodnie z potrzebami aplikacji.
Pomoc w przygotowywaniu architektury rozwiązań od strony sprzętu i zabezpieczeń na poziomie systemowym.
Wsparcie podczas różnego rodzaju migracji danych.
Zapewnianie połączenia pomiędzy różnymi maszynami.
Proponowanie rozwiązań do deploymowania własnych aplikacji na maszyny produkcyjne i testowe.
Wdrażanie nowych rozwiązań, które nie są popularne i mocno udokumentowane przez korzystającą społeczność, głównie w zakresie nowych modułów Hadoopa.

Wymagania:

Doświadczenie w pracy na podobnym stanowisku.
Znajomość platformy Hadoop w zakresie administracji– Big Data.
Znajomość zagadnień inżynierii systemów informatycznych oraz metodyki ich wytwarzania.
Wiedza z zakresu SQL.
Zdolności analityczne.
Samodzielność, umiejętność pracy w zespole, dokładność.