Administrator BigData (Hadoop)
Other
Administrator BigData (Hadoop)
Diverse Consulting Group
Warszawa
Type of work
Undetermined
Experience
Senior
Employment Type
B2B
Operating mode
Office
Tech stack
Hadoop
bigdate
SQL
Job description
Osoba odpowiedzialna za utrzymanie i rozwój architektury klastra Hadoop w warstwie oprogramowania klastra (YARN, Knox, Falcon, Zookeeper, itd.) oraz za integrację platformy Hadoop z zewnętrznymi dostawcami usług, np. LDAP oraz narzędziami klasy SIEM i monitorującymi.
Główne obowiązki:
- Konfiguracja klastra w szczególności poprawne rozdysponowanie zasobów maszyn RAM'u, CPU pomiędzy poszczególne komponenty Hadoop'a.
- Rekomendacje w zakresie monitorowania klastra Hadoop'a, zarówno z poziomu aplikacji Hadoop jak i systemowym oraz monitorowania zasobów na serwerach klastra hadoop.
- Analiza wszelkiego rodzaju problemów na styku sytemu operacyjnego, hadoopa oraz aplikacji.
- Analiza błędów Hadoop'a i działających na nim aplikacji.
- Zarządzanie wszelkimi dostępami do aplikacji bigdata.
- Przeprowadzanie wszelkiego rodzaju instalacji i updatów na poziomie systemu i Hadoopa.
- Proponowanie zalecanych konfiguracji maszyn deweloperskich, testowych, produkcyjnych zgodnie z potrzebami aplikacji.
- Pomoc w przygotowywaniu architektury rozwiązań od strony sprzętu i zabezpieczeń na poziomie systemowym.
- Wsparcie podczas różnego rodzaju migracji danych.
- Zapewnianie połączenia pomiędzy różnymi maszynami.
- Proponowanie rozwiązań do deploymowania własnych aplikacji na maszyny produkcyjne i testowe.
- Wdrażanie nowych rozwiązań, które nie są popularne i mocno udokumentowane przez korzystającą społeczność, głównie w zakresie nowych modułów Hadoopa.
Wymagania:
- Doświadczenie w pracy na podobnym stanowisku.
- Znajomość platformy Hadoop w zakresie administracji– Big Data.
- Znajomość zagadnień inżynierii systemów informatycznych oraz metodyki ich wytwarzania.
- Wiedza z zakresu SQL.
- Zdolności analityczne.
- Samodzielność, umiejętność pracy w zespole, dokładność.