Senior Flink Engineer

Poszukujemy superbohatera – Senior Flink Engineera! 🦸‍♀️🦸‍♂️

Zlecono nam misję specjalną, dzięki której możesz stać się bohaterem naszego klienta. Poniżej znajdziesz informacje na temat oferty oraz supermoce, które będą Ci potrzebne do stawienia czoła wyzwaniom. Nie ma na co czekać, misja sama się nie zrobi – aplikuj na ofertę!

Nasz szwedzki klient, wiodąca firma zajmująca się streamingiem audio, poszukuje Senior Flint Engineera do rozszerzenia teamu zajmującego się rozwojem jednej z największych platform oferujących muzykę, podcasty i audiobooki 🎶

⚡ Stawka do 200 zł/h netto

⚡ 100% zdalnie

⚡ Umowa B2B

⚡ Start ASAP

⚡ Wstępne zaangażowanie planowane do końca grudnia 2025

✨Wymagane supermoce:

Inżynieria strumieniowa i platformowa

• Doświadczenie w pracy z Apache Flink, w tym w tworzeniu oprogramowania przy użyciu interfejsu API DataStream

• Umiejętność aktualizacji i utrzymania środowisk Flink, najlepiej z doświadczeniem w pracy z Flink 2.0

• Dogłębna znajomość architektury pipeline'ów streamingowych, w tym optymalizacji wydajności i odporności na awarie

Migracja i transformacja danych

• Doświadczenie w migracji dużych zbiorów danych z BigQuery (BQ) do Data Cloud Storage (DCS)

• Biegłość w konwersji formatów danych, zwłaszcza z Avro do Parquet

• Umiejętność skalowania i automatyzacji procesów migracji, zapewniająca integralność danych i minimalny czas przestoju

Ekosystem chmury i dużych zbiorów danych

• Solidna znajomość platformy Google Cloud Platform (GCP) i jej usług związanych z danymi

• Znajomość systemów rozproszonych, ewolucji schematów i optymalizacji pamięci masowej

Narzędzia AI i automatyzacji

• Praktyczne doświadczenie w korzystaniu z narzędzi opartych na sztucznej inteligencji w celu przyspieszenia zadań związanych z migracją i transformacją danych

• Zrozumienie sposobu stosowania uczenia maszynowego lub inteligentnej automatyzacji w celu walidacji i optymalizacji przepływów danych

  
  

Miękkie skille

• Umiejętność rozkładania złożonych wyzwań związanych z migracją na wykonalne kroki

• Proaktywność w identyfikowaniu ryzyka i proponowaniu skalowalnych rozwiązań

• Jasna komunikacja, umiejętność wyjaśniania pojęć technicznych osobom nieposiadającym wiedzy technicznej

🚀 Twoja misja:

• Kontynuacja rozwoju i ulepszeń platformy Flink.

• Przeprowadzenie migracji interfejsu API DataStream.

• Aktualizacja do wersji Flink 2.0.

• Skupienie się w większym stopniu na tworzeniu i ulepszaniu streamingowych pipelinów.

• Migracja magazynu danych z BigQuery (BQ) do DCS.

• Skalowanie bieżących procesów migracji.

• Konwersja zestawów danych z formatu Avro do formatu Parquet.

• Wykorzystanie narzędzi AI w celu przyspieszenia i wsparcia prac migracyjnych.

A dokładniej:

• Kontynuacja rozwoju i ulepszeń platformy Flink

  • Ciągłe ulepszanie platformy Flink w celu poprawy wydajności, skalowalności i niezawodności, przy jednoczesnej integracji nowych funkcji i optymalizacji wykorzystania zasobów.

  • Przeprowadzenie migracji interfejsu API DataStream i aktualizacja do wersji Flink 2.0. Działania te mają na celu poprawę długoterminowej łatwości konserwacji i zapewnienie przyszłościowych procesów przetwarzania danych. Migracja będzie wymagała refaktoryzacji bieżących zadań i dostosowania alokacji zasobów, aby zapewnić wydajne działanie na nowych nodach opartych na architekturze ARM.

• Skupienie się na tworzeniu i ulepszaniu pipeline'ów streamingowych w celu zapewnienia szybszego dostępu do analiz danych i wsparcia rosnących potrzeb biznesowych.

• Migracja magazynu danych z BigQuery do GCS, oddzielając magazynowanie od przetwarzania, w celu obniżenia kosztów i uproszczenia naszego ekosystemu danych. Częścią tych działań jest migracja pipeline'ów danych, które odczytują/zapisują dane w formacie Avro do formatu Parquet.

• Opracowanie systemu do wykrywania antywzorców SQL i pomoc zespołom w ich naprawianiu w pipeline'ach DBT.

• Wykorzystanie narzędzi AI do skalowania, przyspieszenia i wsparcia prac migracyjnych. Obejmuje to automatyzację walidacji, śledzenie postępów migracji i standaryzację formatów danych.

🎁Benefity:

• Wybierz sam swoje benefity! - korzystamy z systemu kafeteryjnego,

• Szybki (bo 7-dniowy) termin płatności faktur,

• Sprzęt służbowy.

Aplikuj na ofertę, wierzymy w Ciebie i w Twoje supermoce! 🐱‍💻