Hadoop/Big Data Devops

Dołącz do Detable Sp. Z o.o. - prężnie rozwijającej się firmy, która stawia na długofalową współpracę z doświadczonymi profesjonalistami.

Od ponad 2 lat jesteśmy partnerem dla instytucji z sektora publicznego, współpracujemy m.in. z Centrum e-zdrowia, Aplikacjami Krytycznymi Ministerstwa Finansów, Głównym Urzędem Nadzoru Budowlanego, Urzędem Do Spraw Cudzoziemców, Narodowym Funduszem Zdrowia i wieloma innymi. Nasi konsultanci pracują nad rozwojem aplikacji i systemów, z których korzystają miliony Polaków!Z sukcesem działamy na rzecz informatyzacji polskiej służby zdrowia. Bierzemy udział w rozwijaniu systemu e-zdrowie -P1 (e-recepty, gabinet gov.pl, KSO – krajowa sieć onkologiczna) a także e-krew oraz RIZM - Centralny Rejestr Osób Uprawnionych do Wykonywania Zawodu Medycznego.

Możemy pochwalić się także udziałem w realizacji kluczowych projektów w obszarze finansowym, takich jak KSeF - Krajowy System e-Faktur, JSP - Jednolity System Podatkowy.

Jeśli chcesz pracować nad aplikacjami, z których będziesz potem korzystać w codziennym życiu, dołącz do naszego zespołu jako Hadoop/Big Data Devops.

Ta rola jest właśnie dla Ciebie jeśli:

• Posiadasz minimum 5 lat doświadczenia na stanowisku DevOps Engineer, w projektach dla klienta masowego, związanych z przetwarzaniem dużych wolumentów danych;

• Realizowałeś projekty związane z klastrami High Availability i HDP ( tu integracja z Karberos/ AD);

• Brałeś udział w wdrożeniu standardami CI/CD;

• Biegle posługujesz się oprogramowaniem ekosystemu Apache Hadoop Bigtop (hdfs, spark, yarn, mapreduce, hive, ranger) w zakresie instalacji i konfiguracji;

• Swobodnie poruszasz się używając Ansible;

• Posiadasz praktyczne umiejętności z Kubernetes, Docker, Grafana/Prometheus, PostrgreSQL (EDB), Airflow, JupyterLab, Zeppelin –(instalacja, administracja i zarządzanie);

• Masz udokumentowane doświadczenie w zakresie pisania skryptów shellowych;

• Miałeś okazje pracować w obszarze Big Data, Hurtowni Danych i Zarządzania Danymi minimum 3 lata;

• Nie jest Ci obca platforma programistyczna Hadoop Cloudera/Hortonworks;

• Z łatwością odnajdujesz się w programowaniu procesów Apache Spark w Python(lub Scala);

• Pracowałeś z różnymi formatami danych (np. JSON, ORC, PARQUET);

• Biegle posługujesz się językiem polskim.

Jeśli dołączysz do naszego zespołu Twoim zadaniem będzie:

• Praca w środowisku bazodanowym Big Data, Spark, Apache Hadoop;

• Projektowanie, implementacja i optymalizacja procesów przetwarzania danych w środowiskach Big Data;

• Instalacja, konfiguracja, zarządzanie klastrem Hadoop;

• Instalacja bibliotek w klastrze HDP a także monitorowanie wydajności i aktywne zarządzanie oraz strojenie klastra HDP;

• Projektowanie i zarządzanie hurtowniami danych oraz zapewnienie jakości danych;

• Zarządzanie klastrem Kubernetes;

• Integracja danych z wielu źródeł o różnych formatach (m.in. JSON, PARQUET, ORC, AVRO);

• Tworzenie zaawansowanych zapytań SQL oraz optymalizacja dostępu do danych;

• Wykorzystywanie odpowiednich technologii bazodanowych w zależności od scenariusza użycia;

• Udział w projektowaniu architektury danych oraz wdrażaniu najlepszych praktyk zarządzania danymi;

• Rozwiązywanie problemów i awarii klastra HDP;

• Monitorowanie i zapewnianie wysokiej wydajności systemów Big Data.

Z naszej strony możesz liczyć na;

• Konkurencyjne wynagrodzenie w oparciu o kontrakt B2B ( 140-170pln netto/h);

• Długofalową współpracę opartą o wzajemny szacunek i partnerstwo;

• Dedykowanego opiekuna kontraktu po stronie Detable;

• Możliwość 100% pracy zdalnej lub z naszego biura w Białymstoku;

• Możliwość podnoszenia swoich kwalifikacji poprzez skorzystanie z budżetu szkoleniowego;

• Realny wpływ na rozwój projektu;

• Atrakcyjny program poleceń pracowniczych;

• Zdalny proces rekrutacji.

Jak wygląda u nas proces rekrutacji?

• Rozmowa HR z naszą IT Rekruterką;

• Weryfikacja umiejętności technicznych przez naszego Lidera technicznego;

• Spotkanie z klientem;

• Decyzja i rozpoczęcie współpracy