Senior Data Engineer (Scala | Java + Spark + Airflow + HDFS)

Data

Senior Data Engineer (Scala | Java + Spark + Airflow + HDFS)

Data
Centrum, Gdańsk +4 Locations

1dea

Full-time
B2B
Senior
Remote
44 - 50 USDNet per hour - B2B

Job description

Poszukujemy doświadczonego Inżyniera Danych (Big Data), który dołączy do zespołu jednego z naszych kluczowych klientó. Oferujemy atrakcyjne wynagrodzenie i możliwość pracy zdalnej w międzynarodowym środowisku. Praca wymaga dostępności do godzin 20:00-21:00 czasu środkowoeuropejskiego (CET) z uwagi na fakt pracy w zespole ze strefy czasowej US.

 

Informacje organizacyjne:

  • Branża: new media / IoT
  • Wakaty: 4
  • Lokalizacja: praca w 100% zdalnie
  • Start: ASAP (max 3msc okresu wypowiedzenia)
  • Stawka (do ustalenia): 170 - 195 PLN netto + VAT / h
  • Warunki zaangażowania: B2B (outsourcing przez 1dea), full-time, long-term (12msc+)

 

Proces rekrutacyjny (w pełni zdalny):

  • Krótka rozmowa telefoniczna z rekruterem 1dea - o projekcie i warunkach zaangażowania: (~10 minut)
  • Przedstawienie Twojej kandydatury Klientowi
  • Rozmowa techniczno-projektowa z Klientem (wideo) (~1-1.5 h)
  • (Opcjonalnie) rozmowa podsumowująca proces z Managerem Technicznym ze strony naszego Klienta (~30 minut)
  • Podjęcie decyzji o współpracy


Zakres obowiązków

  • Projektowanie, rozwój i utrzymanie niezawodnych potoków danych przy użyciu: Scala, Spark, HDFS, Gradle, Kubernetes i Airflow
  • Implementacja skalowalnych i efektywnych przepływów danych wspierających pozyskiwanie, przetwarzanie i analizę danych
  • Rozwój i utrzymanie systemów ciągłego raportowania i pulpitów nawigacyjnych w celu dostarczania wglądów w czasie rzeczywistym
  • Współpraca z interdyscyplinarnymi zespołami w celu zrozumienia wymagań dotyczących danych i dostarczania rozwiązań danych
  • Optymalizacja i dostrajanie systemów przetwarzania danych pod kątem wydajności i niezawodności
  • Zapewnienie jakości i integralności danych w całym cyklu życia danych
  • Rozwiązywanie problemów związanych z przetwarzaniem danych i potokami
  • Śledzenie trendów branżowych i pojawiających się technologii w celu napędzania innowacji w inżynierii danych


Wymagania

  • Tytuł licencjata lub magistra w dziedzinie informatyki, inżynierii lub pokrewnej dziedzinie
  • Minimum 5 lat komercyjnego doświadczenia jako Inżynier Big Data lub na podobnym stanowisku
  • Biegła znajomość Spark, HDFS, Airflow
  • Solidne umiejętności programowania w Java i/lub Scala
  • Gradle
  • Kubernetes
  • Doświadczenie w architekturze i implementacji potoków danych
  • Biegłość w budowaniu i utrzymaniu systemów ciągłego raportowania i pulpitów nawigacyjnych
  • Znajomość koncepcji i technologii hurtowni danych (DWH)
  • Silne umiejętności rozwiązywania problemów i dbałość o szczegóły
  • Doskonałe umiejętności komunikacji i współpracy
  • Umiejętność samodzielnej pracy i w zdalnym zespole
  • Znajomość języka angielskiego pozwalająca na swobodną komunikację w mowie i piśmie (B2+)


Oferujemy

  • Długotrwały kontrakt B2B (od razu podpisujemy umowę na czas nieokreślony / bezterminowo - Klient nastawia się tylko i wyłącznie na długofalową współpracę)
  • Zostań częścią rozpoznawalnej firmy o silnej pozycji na rynku
  • Nowoczesny sprzęt i oprogramowanie (zapewnia nasz Klient)
  • Elastyczne godziny pracy: ciesz się swobodą efektywnego zarządzania swoim czasem (w 8h zakresie godzin 10:00 - 21:00)
  • Pracę w 100% zdalnie
  • Kultura współpracy: Cenimy pracę zespołową, otwartość, szacunek i wzajemne wsparcie w rozwoju umiejętności. Kreatywność mile widziana: Twoje pomysły i sugestie w realizacji projektu będą uwzględniane i brane pod uwagę :-)

Tech stack

    Polish

    C2

    English

    B2

    Team Player

    advanced

    Scala

    advanced

    Apache Spark

    advanced

    DWH

    regular

    Airflow

    regular

    Gradle

    regular

    Kubernetes

    regular

    HDFS

    regular

    Java

    nice to have

Office location