Senior Data Engineer

👉 Czas projektu: długoterminowy ⏳

👉 Forma pracy: zdalnie, fulltime 🌎

👉 Start: ASAP ⏰

Cześć! 👋

Dla Szwedzkiego klienta poszukujemy doświadczonego Senior Data Engineera, który wesprze zespół Data Intelligence poprzez tworzenie nowych rozwiązań/ funkcjonalności i optymalizację istniejących już pipelinów, data storage i internalowych narzędzi do analizy danych. Idealny kandydat to osoba doświadczona w administracji danych oraz budowaniu złożonych pipelinów, która lubi optymalizować systemy i budować je od podstaw.

Zadania obejmują obsługę różnorodnych danych, od mniejszych zbiorów w relacyjnych bazach danych, przez przetwarzanie transakcyjne w SQL i ETL z milionami wierszy dziennie, aż po analizę i statystyki w tabelach zawierających miliardy wierszy, oraz zarządzanie danymi strumieniowymi typu big data. Dołączysz do doświadczonego fullstackowym zespołu backend i data engineerów działających na rozwiązaniach z architekturą domain-driven. Praca stawia na bliską współpracę z cross-functional zespołami tworzącymi aplikacje, aby umożliwić analitykom danych/ specjalistom ds. treści korzystanie z danych domeny, integracji danych oraz ich analizy. 

Zakres obowiązków:

📍 Tworzenie i utrzymanie data pipelines oraz współpraca w utrzymaniu i optymalizacji architektury danych

📍 Budowanie i optymalizacja złożonych data setów, które spełniają wymagania biznesowe zarówno funkcjonalne (np. szybkie wyszukiwanie i filtrowanie danych, synchronizacja z wewnętrznymi systemami) jak i niefunkcjonalne (np. przechowywanie danych zgodnie z przepisami prawa)

📍 Projektowanie i wdrażanie ulepszeń wewnętrznych procesów (m.in. automatyzacja procesów ręcznych, optymalizacja dostarczania danych)

📍 Budowanie infrastruktury potrzebnej do optymalizacji procesu ekstrakcji, transformacji i ładowania danych z różnych źródeł przy użyciu technologii SQL oraz chmurowych

📍 Współpraca z architektami oraz projektantami w celu ujednolicenia istniejących modeli danych, pipelinów, data storages

📍 Tworzenie narzędzi analitycznych oraz microservices wykorzystujących data pipelines, wspierających pracę m.in. analityków danych

📍 Współpraca z interesariuszami, w tym zespołami engineering management, product, data i design w celu rozwiązywania problemów technicznych i wsparcia ich potrzeb w zakresie infrastruktury

📍 Budowanie procesów wspierających transformację danych, struktury danych, metadata, zarządzanie dependency/ workloadem

Wymagania:

⚡️ Co najmniej 8 lat doświadczenia w roli data engineer lub podobnej 

⚡️ Doświadczenie z Microsoft SQL Server, Microsoft Azure (ADF, Blob Storage), .NET (C#), DataBricks, Spark, NATS Jetstream, Docker/Kubernetes

⚡️ Zaawansowana znajomość SQL i relacyjnych baz danych, najlepiej Oracle DB

⚡️ Znajomość systemów kolejkowania, przetwarzania strumieniowego i magazynów danych big data (DataBricks, Lakehouse, Kafka)

⚡️ Doświadczenie w budowaniu i optymalizacji pipeline'ów danych big data

⚡️ Umiejętność przeprowadzania analizy przyczyn źródłowych (root cause analysis)

⚡️ Silne umiejętności analityczne i doświadczenie z nieustrukturyzowanymi danymi

⚡️Angielski umożliwiający swobodną komunikację w zespole0

Mile widziane:

⚡️ Znajomość Python

⚡️Doświadczenie w pracy w środowisku AWS

Jak działamy i co oferujemy?

🎯 Stawiamy na otwartą komunikację zarówno w procesie rekrutacji jak i po zatrudnieniu - zależy nam na klarowności informacji dotyczących procesu i zatrudnienia

🎯 Do rekrutacji podchodzimy po ludzku, dlatego upraszczamy nasze procesy rekrutacyjne, żeby były możliwie jak najprostsze i przyjazne kandydatowi 

🎯 Pracujemy w imię zasady "remote first", więc praca zdalna to u nas norma, a wyjazdy służbowe ograniczamy do minimum

🎯 Oferujemy prywatną opiekę medyczną (Medicover) oraz kartę Multisport dla kontraktorów