Senior Big Data

Lumicode Sp. z o.o. należy do Grupy Pentacomp, która jest producentem rozwiązań informatycznych i dostawcą profesjonalnych usług IT dla dużych przedsiębiorstw i sektora publicznego.

Jako Pentacomp tworzymy rozwiązania IT łączące innowacyjność z latami doświadczeń - a ich mamy całkiem sporo. Istniejemy na rynku prawie 30 lat i możemy pochwalić się wieloma zrealizowanymi projektami.

Poszukujemy Starszego programisty Big Data do projektu dotyczącego wytwarzania i utrzymania kluczowych rozwiązań IT dla systemu finansów publicznych oraz administracji skarbowej.

Zakres obowiązków:

• Tworzenie i optymalizacja rozwiązań w językach Python/ Rust.

• Praca w środowisku opartym o Kubernetesa - Apache Spark, Apache Airflow, Jupiter, Starrocs;

• Tworzenie rozwiązań BIG DATA (procesów przetwarzania danych);

• Tworzenie rozwiązań agentowanych opartych o LLM

• Techniczne wsparcie testów w obszarze testów jednostkowych, integracyjnych oraz UAT;

• Dokumentowanie kodu i przepływu danych.

Wymagania:

• Min. 5 lat udokumentowanego doświadczenia w programowaniu (Python lub Rust).

• Co najmniej 5-letnie doświadczenie w pracy z rozwiązaniami klasy Big Data z wykorzystaniem Kubernetes, Spark, Airflow

• Ekspercka wiedza z zakresu wydajności i optymalizacji rozwiązań Kubernetes/Spark.

• Eksperckie doświadczenie w realizacji projektów związanych z rozproszonymi systemami Big Data;

• Dobra znajomość nierelacyjnych baz danych NoSQL: MongoDB, Cassandra, HBase lub podobnych;

• Znajomość rozwiązań opartych o protokół S3 (np. HCP, CEPH).

• Wiedza z zakresu integracji systemów na dużą skalę (RESTful, SOAP/ESB).

• Dobra znajomość środowiska Linux i języków skryptowych.

Mile widziane:

• Min. 2 lata udokumentowanego doświadczenia z chmurą w obszarze Big Data.

• Min. 3 lata doświadczenia w ML/Deep Learning.

• Doświadczenie w systemach AI (rozwiązania agentowe), MLOps i architekturze AI.

• Praktyczna znajomość narzędzi ETL (MS SSIS lub Pentaho).