Currency

Big Data Developer

5 772 - 6 542 USDNet per month - B2B
Data

Big Data Developer

Data

Polska, polska

Connectis

Full-time
B2B
Senior
Remote
5 772 - 6 542 USD
Net per month - B2B

Tech stack

    Polish

    C1

    English

    C1

    Python

    regular

    Hive

    regular

    DML

    regular

    Spark

    regular

    Avro

    regular

    delta

    regular

Job description

Razem z naszym Klientem, liderem w dziedzinie consultingu, poszukujemy specjalisty na stanowisko Big Data Developer. Nasz Klient to globalna firma doradczo-technologiczna specjalizująca się w usługach transformacji cyfrowej, integracji systemów oraz rozwoju rozwiązań IT dla wielu sektorów gospodarki. Projekt dotyczy migracji ogromnych wolumenów danych do nowoczesnych, otwartych formatów takich jak ORC/Parquet.



👨‍💻 TWOJA ROLA:


  • Projektowanie procesów obsługujących bardzo duże zbiory danych, w tym dzielenie danych na mniejsze fragmenty (chunking), konwersję do otwartych formatów oraz ładowanie danych do Hive z zachowaniem wydajności i integralności.

  • Migracja danych z formatu SAS SPDE w Hadoop do formatów otwartych (ORC/Parquet) oraz ich przeniesienie do środowiska VAST.

  • Współpraca z globalnymi zespołami klienta, raportowanie postępów i rozwiązywanie problemów związanych z dużą skalą danych.

  • Przygotowanie danych do udostępnienia poprzez Hive, w tym dla konsumentów korzystających z narzędzi Altair i Python.

  • Optymalizacja i automatyzacja procesów ETL/ELT w środowisku Big Data.



🔍 CZEGO OCZEKUJEMY OD CIEBIE?


  • Minimum 6 lat doświadczenia w pracy z platformami Big Data oraz zaawansowanej obróbce i analizie bardzo dużych zbiorów danych.

  • Praktyki w korzystaniu z silników i narzędzi przetwarzania: Hive (External Tables, Metastore, HiveServer2), Spark oraz Python.

  • Bardzo dobrej znajomości DML oraz stosowania partycjonowania w pracy z ogromnymi zbiorami danych.

  • Doświadczenie w zarządzaniu i optymalizacji przechowywania danych w środowiskach HDFS i VAST.

  • Znajomości formatów danych: Avro, ORC, Parquet.

  • Znajomości formatów tabel: Delta, Iceberg.

  • Otwartość na pracę 100% zdalną.

  • Język angielski - C1.

  • Start: ASAP.



Mile widziane:


  • Znajomość Starburst Databricks.



✨ OFERUJEMY:


  • Uczestnictwo w spotkaniach integracyjnych oraz meetupach technologicznych, umożliwiających dzielenie się wiedzą i doświadczeniem.

  • Wsparcie dedykowanego opiekuna Connectis, który zawsze jest dostępny, by pomóc Ci w sprawach związanych z projektem.

  • Rozwój kariery i długofalową współpracę w firmie o ugruntowanej pozycji na rynku.

  • 5000 PLN za polecenie znajomego do naszych projektów.

  • Dostęp do najnowszych technologii i narzędzi pracy.

  • Szybki i zdalny proces.



Dziękujemy za wszystkie zgłoszenia. Pragniemy poinformować, że skontaktujemy się z wybranymi osobami.


12257/PZ

Tech stack

    Polish

    C1

    English

    C1

    Python

    regular

    Hive

    regular

    DML

    regular

    Spark

    regular

    Avro

    regular

    delta

    regular

Office location

Published: 03.09.2025

Big Data Developer

5 772 - 6 542 USDNet per month - B2B
Summary of the offer

Big Data Developer

Polska, polska

Connectis

5 772 - 6 542 USDNet per month - B2B
By applying, I consent to the processing of my personal data for the purpose of conducting the recruitment process. We hereby inform that the Personal Data Administrator shall be Connectis Sp. z o.o., Al. Jerozolimskie 96, 00-807 Warszawa, e-mail: of... MoreThis site is protected by reCAPTCHA and the Google Privacy Policy and Terms of Service apply.
ADVERTISEMENT: Recommended by Just Join IT