Data Engineer (Praca hybrydowa - Kraków)

IT Talento to część Grupy HICRON - organizacji od lat wspierającej firmy w realizacji projektów technologicznych, transformacjach cyfrowych oraz rozwoju systemów SAP i rozwiązań IT. 

W ramach Grupy współpracujemy z około 1000 ekspertów i konsultantów realizujących projekty dla klientów w Polsce i za granicą. Nasze zespoły uczestniczą m.in. we wdrożeniach SAP, migracjach do SAP S/4HANA, rozwoju dedykowanych aplikacji i systemów, projektach integracyjnych, modernizacjach środowisk IT oraz inicjatywach związanych z automatyzacją i transformacją biznesową. 

Pracujemy dla organizacji reprezentujących różne sektory rynku - od produkcji i automotive, przez energetykę i chemię, po branżę FMCG. Dzięki temu nasi specjaliści mają możliwość zdobywania doświadczenia w zróżnicowanych środowiskach technologicznych, biznesowych i projektowych. 

Tworzymy środowisko, w którym liczą się kompetencje, współpraca i realny wpływ na realizowane projekty. Niezależnie od tego, czy specjalizujesz się w SAP, IT czy nowych technologiach, możesz rozwijać swoje umiejętności przy przedsięwzięciach o dużej skali i znaczeniu biznesowym. 

Dla jednego z naszych klientów aktualnie poszukujemy osoby w roli:  

Data Engineer 

Najważniejsze informacje organizacyjne  

Model pracy: Hybrydowy (Kraków) 

Umowa: B2B  

Czas trwania: projekt długoterminowy 

Wynagrodzenie: do 140 PLN/h 

Poszukujemy doświadczonego Data Engineera ze strong hands-on experience w obszarze PySpark i Python, który dołączy do projektu realizowanego dla klienta z obszaru Data Engineering. 

Osoba na tym stanowisku będzie odpowiedzialna za projektowanie, rozwój oraz optymalizację skalowalnych pipeline’ów danych oraz rozwiązań przetwarzających duże wolumeny danych w środowisku rozproszonym. Rola wymaga praktycznej znajomości Azure Data Factory (ADF) oraz bardzo dobrego zrozumienia architektury i najlepszych praktyk związanych z nowoczesnym Data Engineeringiem. 

Projekt realizowany jest w modelu hybrydowym z Krakowa. 

Twoje zadania 

• Projektowanie, rozwój oraz utrzymanie skalowalnych pipeline’ów danych z wykorzystaniem PySpark i Python  

• Tworzenie oraz optymalizacja procesów ETL/ELT dla środowisk high-volume data processing  

• Przetwarzanie danych strukturalnych i niestrukturalnych z wielu źródeł  

• Budowanie wydajnych i skalowalnych rozwiązań zgodnych z best practices Data Engineering  

• Optymalizacja wydajności przetwarzania danych (partitioning, caching, join optimization)  

• Tworzenie oraz zarządzanie workflowami w Azure Data Factory  

• Współpraca z Data Scientistami, Architektami, Business Analystami oraz innymi stakeholderami  

• Utrzymywanie jakości, spójności i niezawodności danych  

• Rozwiązywanie problemów wydajnościowych w środowiskach distributed processing 

• Współudział w rozwoju enterprise data architecture 

Oczekiwania 

• Minimum 6 lat ogólnego doświadczenia w IT 

• Minimum 4–5 lat praktycznego doświadczenia z PySpark i Python 

• Bardzo dobra znajomość: PySpark (DataFrames, Spark SQL, performance tuning), Python, SQL  

• Doświadczenie z Azure Data Factory (ADF)  

• Znajomość architektury oraz zasad projektowania rozwiązań Data Engineering 

• Doświadczenie z dużymi środowiskami distributed data processing  

• Znajomość metod optymalizacji danych i wydajności pipeline’ów  

• Bardzo dobre umiejętności analityczne i troubleshootingowe  

• Znajomość modelowania danych  

• Język angielski na poziomie minimum B2 

Mile widziane:  

• Doświadczenie z Azure Databricks  

• Znajomość środowiska Microsoft Azure  

• Znajomość CI/CD i automatyzacji procesów Data Engineering  

• Doświadczenie z Data Lake / Lakehouse architectures