Senior Hadoop Engineer

Opis stanowiska:

Do naszego zespołu poszukujemy doświadczonego Hadoop Engineera (min. 5 lat doświadczenia), który wesprze nas w realizacji strategicznych projektów związanych z budową, migracją oraz utrzymaniem klastrów Hadoop w środowiskach Cloudera oraz Open Source.

Zakres obowiązków:

• Wsparcie w opracowaniu koncepcji i planów budowy nowych oraz migracji istniejących komponentów, aplikacji, danych i użytkowników w środowisku Hadoop.
• Udział w tworzeniu i ocenie architektury klastra Hadoop, zarówno Cloudera, jak i Open Source.
• Wsparcie w przygotowaniu i realizacji procesu migracji danych oraz użytkowników.
• Udział w kompilacji i budowie komponentów Open Source Hadoop.
• Opracowanie planu utrzymania i zapewnienia ciągłości działania klastra.
• Rozwiązywanie problemów związanych z Hive, Spark, Kerberos oraz błędami Java.
• Udział w działaniach z zakresu bezpieczeństwa, w szczególności obsługa mechanizmu Kerberos.

Wymagania:

• Minimum 5 lat doświadczenia w pracy z ekosystemem Hadoop.
• Bardzo dobra znajomość komponentów: Hive, Impala, Airflow lub Oozie.
• Znajomość i doświadczenie z technologiami: Cloudera Hadoop oraz Apache Hadoop (Open Source).
• Doświadczenie w pracy z Kerberos (security & troubleshooting).
• Umiejętność rozwiązywania problemów w środowiskach Java (np. błędy JVM).
• Dobra organizacja pracy własnej i umiejętność współpracy z zespołem technicznym.

Mile widziane:

• Znajomość zasad DevOps i CI/CD dla środowisk Big Data.
• Doświadczenie z monitorowaniem i optymalizacją wydajności klastrów Hadoop.