Data Engineer (Regular Expressions)

Data Engineer (Regular Expressions)

W IT LeasingTeam łączymy najwyższej klasy ekspertów z prestiżowymi projektami technologicznymi. Obecnie poszukujemy Inżyniera Danych ze ścisłą specjalizacją w Regular Expressions, który dołączy do nowo budowanego zespołu wspierającego jednego z globalnych liderów branży telekomunikacyjnej.

 Szukamy osoby, dla której zaawansowana analiza wzorców tekstowych i optymalizacja wyrażeń regularnych to absolutny priorytet. Jeśli świetnie odnajdujesz się w budowaniu wysokowydajnych reguł ekstrakcji, rozumiesz mechanikę silników Regex (np. PCRE ) i nie przeraża Cię praca z wolumenem przekraczającym milion rekordów na sekundę – to rola właśnie dla Ciebie. Dołączysz do 7-osobowego zespołu specjalistów, tworząc od podstaw logikę przetwarzania logów w potężnym ekosystemie Big Data, gdzie wymogiem krytycznym jest zachowanie latencji poniżej 5 sekund. 

Informacje organizacyjne:

• Tryb pracy: W pełni zdalny.

• Forma współpracy: Kontrakt B2B z IT LeasingTeam

• Budżet: 130-160 PLN/h netto + VAT (z możliwością negocjacji w górę, jeśli posiadasz doświadczenie z technologiami z sekcji "Mile widziane").

• Czas trwania: Współpraca długofalowa.

• Sektor: Telekomunikacja / Big Data.

• Zespół: ~7 osób.

• Zakres zadań:

  • Projektowanie i optymalizacja Regex: Tworzenie od podstaw i utrzymywanie wysoce wydajnych wyrażeń regularnych dla nowych tematów logów telekomunikacyjnych. Świadome zarządzanie optymalizacją (np. stosowanie grup nieprzechwytujących i eliminacja zbędnych nawiasów ) w celu radykalnej poprawy wydajności.  

  • Przetwarzanie strumieniowe: Implementacja wzorców do procesów Spark Structure Streaming, które czytają dane bezpośrednio z Apache Kafka z prędkością ok. 1 000 000 rekordów na sekundę.

  • Transformacja danych: Wzbogacanie, kategoryzacja oraz filtracja wyekstrahowanych informacji z surowych logów, a następnie zasilanie nimi bazy Elasticsearch.

  • Skalowanie operacji: Projektowanie reguł w sposób umożliwiający utrzymanie wysokiej czytelności dla procesów Code Review, przy jednoczesnym spełnianiu rygorystycznych wymogów wydajnościowych (latencja < 5s przy rosnącej skali obciążeń)

Oczekiwania:

• Ekspertyza techniczna (Must-have): Głębokie, udokumentowane doświadczenie komercyjne w tworzeniu i optymalizowaniu Regular Expressions. Jeśli nie posiadasz klasycznego doświadczenia w Data Engineeringu, ale wywodzisz się np. ze środowisk NLP / lingwistyki komputerowej, analizy bezpieczeństwa czy administracji i jesteś mistrzem Regexów – aplikuj, porozmawiamy o możliwościach.

• Znajomość języków obcych: Biegła znajomość języka angielskiego w mowie i piśmie na poziomie min. B2+ (praca w środowisku w pełni międzynarodowym).  

• Fundamenty analityczne: Umiejętność pisania skryptów wspierających (np. Python, Java ) przydatna w testowaniu i automatyzacji rozwiązań.  

• Kierunek rozwoju: Silne zainteresowanie obszarem Big Data i chęć nauki/rozwoju w nowoczesnych architekturach danych.

• Mile widziany stos technologiczny: Spark, Scala, Hadoop, Airflow, Kafka, ElasticSearch (Open Distro).

Oferujemy:

• Unikalną skalę projektu: Praca w globalnej infrastrukturze IT, gdzie Twoje autorskie wyrażenia regularne będą na żywo przetwarzać setki milionów rekordów na godzinę.

• Nowoczesne środowisko: Realny wpływ na architekturę strumieniowego przesyłu danych i okazję do pracy w otoczeniu topowych narzędzi Big Data.

• Stabilność: Długofalowy kontrakt z gwarancją rozwoju w zespole wybitnych ekspertów technicznych.

• Kompleksowość: Stała opieka Rekrutera po stronie ITLT, z regularnym aktualizowaniem procesu rekrutacyjnego, żeby było szybko i sprawnie.