Hadoop Administrator

Poszukujemy doświadczonego Administratora Hadoop, który będzie odpowiedzialny za zarządzanie, monitorowanie i optymalizowanie środowisk opartych na technologii Hadoop. Osoba na tym stanowisku będzie współpracować z zespołami technicznymi w celu zapewnienia efektywnego działania systemów przetwarzania danych i wsparcia w zarządzaniu danymi w dużych zbiorach.

Zakres obowiązków:

• Instalacja, konfiguracja i zarządzanie klastrami Hadoop.
• Monitorowanie wydajności i optymalizacja środowiska Hadoop.
• Rozwiązywanie problemów związanych z Hadoop, zapewniając ciągłość działania systemów.
• Utrzymywanie i zarządzanie komponentami ekosystemu Hadoop, takimi jak HDFS, YARN, Hive, HBase, Impala, Pig, Sqoop, Spark.
• Zarządzanie bezpieczeństwem w Hadoop (ustawienia uprawnień, kontrola dostępu, audyt).
• Współpraca z zespołami inżynierii danych w celu optymalizacji procesów ETL.
• Regularne wykonywanie kopii zapasowych i planowanie zadań związanych z odzyskiwaniem danych.
• Udzielanie wsparcia technicznego oraz rozwiązywanie problemów zgłaszanych przez użytkowników.

Wymagania:

• Doświadczenie w pracy z ekosystemem Hadoop i jego komponentami.
• Znajomość języków programowania takich jak Java, Python, Scala.
• Umiejętność zarządzania klastrami Hadoop oraz narzędziami do monitorowania i diagnostyki.
• Znajomość zagadnień związanych z bezpieczeństwem i zarządzaniem danymi.
• Doświadczenie w pracy z systemami operacyjnymi Linux/Unix.
• Znajomość narzędzi takich jak Apache Spark, Hive, HBase, YARN, Zookeeper.
• Umiejętność pracy w zespole oraz komunikatywność.
• Znajomość języka angielskiego na poziomie średniozaawansowanym lub wyższym.