Senior Data Platform Developer (Kafka)

O projekcie

Dla naszego klienta z sektora bankowego poszukujemy doświadczonego Senior Data Platform Engineera (Kafka), który dołączy do zespołu odpowiedzialnego za rozwój nowoczesnej platformy danych opartej na architekturze event-driven.

Poszukujemy osoby, która posiada praktyczne doświadczenie w budowie i rozwoju rozwiązań opartych o Apache Kafka, potrafi projektować skalowalne usługi w środowisku produkcyjnym oraz dobrze odnajduje się na styku obszarów Data Platform, Backend Development i DevOps.

Platforma stanowi kluczowy element ekosystemu danych organizacji i odpowiada za integrację oraz przetwarzanie danych pomiędzy wieloma systemami biznesowymi.

Zakres obowiązków

• projektowanie i rozwój rozwiązań opartych o architekturę event-driven z wykorzystaniem Apache Kafka,

• budowa i rozwój mikroserwisów w Java oraz Spring Boot,

• implementacja rozwiązań wykorzystujących Kafka Streams oraz kSQL,

• projektowanie, rozwój i utrzymanie konektorów Kafka Connect (source/sink),

• definiowanie oraz wersjonowanie schematów danych (Avro, Protobuf, JSON Schema),

• integracja platformy z MongoDB, Apache Iceberg, S3 oraz innymi systemami i bazami danych,

• implementacja transformacji danych przy użyciu Single Message Transforms (SMT) oraz własnych konwerterów,

• rozwój i utrzymanie warstwy API udostępniającej dane dla systemów biznesowych,

• automatyzacja konfiguracji topiców, konektorów, streamów oraz aplikacji opartych o Kafka Streams,

• wdrażanie rozwiązań z zakresu monitoringu i obserwowalności środowiska,

• diagnozowanie problemów związanych z wydajnością, replikacją oraz przetwarzaniem danych,

• optymalizacja konfiguracji Apache Kafka, w tym partycjonowania, retencji i mechanizmów replikacji,

• współpraca z Data Engineerami, DevOps Engineerami oraz analitykami biznesowymi,

• udział w dokumentowaniu rozwiązań i dzieleniu się wiedzą w zespole.

Wymagania

Must-have

• minimum 5 lat doświadczenia komercyjnego w obszarze backend development, platform danych lub systemów integracyjnych,

• minimum 3 lata praktycznego doświadczenia z Apache Kafka w środowiskach produkcyjnych,

• bardzo dobra znajomość Apache Kafka, w tym brokerów, topiców, producentów, konsumentów, logów oraz mechanizmów replikacji,

• praktyczne doświadczenie z Kafka Streams oraz kSQL,

• doświadczenie w konfiguracji i rozwoju Kafka Connect, zarówno gotowych, jak i własnych konektorów,

• bardzo dobra znajomość Java oraz Spring Boot,

• doświadczenie w projektowaniu i budowie mikroserwisów,

• znajomość schematów danych Avro, Protobuf oraz JSON Schema,

• doświadczenie w pracy z MongoDB,

• praktyczna znajomość Prometheus, Grafana oraz zagadnień observability,

• znajomość zagadnień bezpieczeństwa, takich jak TLS, SASL, ACL oraz szyfrowanie danych,

• doświadczenie w pracy w metodykach Agile (Scrum/Kanban).

Mile widziane

• doświadczenie z GraphQL,

• znajomość Apache Iceberg,

• znajomość OpenTelemetry,

• praktyczna znajomość Python,

• doświadczenie w środowiskach chmurowych,

• doświadczenie w automatyzacji procesów DevOps i CI/CD.
  

Tech Stack

Apache Kafka | Kafka Streams | Kafka Connect | kSQL | Java | Spring Boot | MongoDB | GraphQL | Apache Iceberg | Avro | Protobuf | JSON Schema | Prometheus | Grafana | OpenTelemetry | Python