Big Data Developer

Razem z naszym Klientem, liderem w dziedzinie consultingu, poszukujemy specjalisty na stanowisko Big Data Developer. Nasz Klient to globalna firma doradczo-technologiczna specjalizująca się w usługach transformacji cyfrowej, integracji systemów oraz rozwoju rozwiązań IT dla wielu sektorów gospodarki. Projekt dotyczy migracji ogromnych wolumenów danych do nowoczesnych, otwartych formatów takich jak ORC/Parquet.

👨‍💻 TWOJA ROLA:

• Projektowanie procesów obsługujących bardzo duże zbiory danych, w tym dzielenie danych na mniejsze fragmenty (chunking), konwersję do otwartych formatów oraz ładowanie danych do Hive z zachowaniem wydajności i integralności.

• Migracja danych z formatu SAS SPDE w Hadoop do formatów otwartych (ORC/Parquet) oraz ich przeniesienie do środowiska VAST.

• Współpraca z globalnymi zespołami klienta, raportowanie postępów i rozwiązywanie problemów związanych z dużą skalą danych.

• Przygotowanie danych do udostępnienia poprzez Hive, w tym dla konsumentów korzystających z narzędzi Altair i Python.

• Optymalizacja i automatyzacja procesów ETL/ELT w środowisku Big Data.

🔍 CZEGO OCZEKUJEMY OD CIEBIE?

• Minimum 6 lat doświadczenia w pracy z platformami Big Data oraz zaawansowanej obróbce i analizie bardzo dużych zbiorów danych.

• Praktyki w korzystaniu z silników i narzędzi przetwarzania: Hive (External Tables, Metastore, HiveServer2), Spark oraz Python.

• Bardzo dobrej znajomości DML oraz stosowania partycjonowania w pracy z ogromnymi zbiorami danych.

• Doświadczenie w zarządzaniu i optymalizacji przechowywania danych w środowiskach HDFS i VAST.

• Znajomości formatów danych: Avro, ORC, Parquet.

• Znajomości formatów tabel: Delta, Iceberg.

• Otwartość na pracę 100% zdalną.

• Język angielski - C1.

• Start: ASAP.

Mile widziane:

• Znajomość Starburst Databricks.

✨ OFERUJEMY:

• Uczestnictwo w spotkaniach integracyjnych oraz meetupach technologicznych, umożliwiających dzielenie się wiedzą i doświadczeniem.

• Wsparcie dedykowanego opiekuna Connectis, który zawsze jest dostępny, by pomóc Ci w sprawach związanych z projektem.

• Rozwój kariery i długofalową współpracę w firmie o ugruntowanej pozycji na rynku.

• 5000 PLN za polecenie znajomego do naszych projektów.

• Dostęp do najnowszych technologii i narzędzi pracy.

• Szybki i zdalny proces.

Dziękujemy za wszystkie zgłoszenia. Pragniemy poinformować, że skontaktujemy się z wybranymi osobami.

12257/PZ