Platform Data Engineer

Razem z naszym Klientem, jednym z liderów w branży ubezpieczeniowej, poszukujemy osoby na stanowisko Platform Data Engineer.

Projekt dotyczy budowy i skalowania platformy danych IoT w sektorze ubezpieczeniowym, która umożliwia przekształcanie danych z urządzeń i sensorów w insighty biznesowe.

💡 TWOJA ROLA:

• Projektowanie rozwój oraz utrzymanie wydajnych pipeline’ów danych (ETL/ELT) z wykorzystaniem Spark, Python oraz usług AWS.

• Budowa i rozwój nowoczesnej platformy danych typu Data Lakehouse wspierającej wiele produktów i obszarów biznesowych.

• Implementacja i rozwój orkiestracji workflow oraz automatyzacji procesów CI/CD z wykorzystaniem AWS Step Functions.

• Współpraca z zespołami ML w zakresie przygotowania i dostarczania danych pod rozwiązania oparte o SageMaker.

• Integracja oraz przetwarzanie danych z różnych źródeł zewnętrznych, m.in. IoT, OEM oraz systemów partnerskich.

• Optymalizacja wydajności przetwarzania danych oraz kosztów infrastruktury w środowisku chmurowym.

• Zapewnienie jakości danych poprzez walidację, monitoring i observability.

🔍 CZEGO OCZEKUJEMY OD CIEBIE?

• Minimum 4 letnie doświadczenie komercyjne w roli Data Engineera lub podobnej.

• Doświadczenie komercyjne w pracy w środowisku AWS oraz technologiami Spark, PySpark, Python i SQL.

• Praktyczna znajomość architektury Data Lakehouse oraz rozwiązań do przetwarzania dużych wolumenów danych.

• Doświadczenie w budowie skalowalnych i wysokowydajnych rozwiązań data engineeringowych w środowisku cloud-native.

• Praktyczna znajomość Amazon SageMaker oraz zdolność przygotowywania środowisk i danych pod rozwiązania AI/ML.

• Znajomość dobrych praktyk związanych z jakością danych, monitoringiem i optymalizacją kosztów infrastruktury.

• Doświadczenie z narzędziami orkiestracji i automatyzacji procesów, w szczególności AWS Step Functions.

• Znajomość Terraform, Azure DevOps oraz praktyk CI/CD w projektach chmurowych.

Mile widziane:

• Doświadczenie z Azure Databricks, Apache Airflow lub rozwiązaniami opartymi o Apache Kafka.

• Praktyczna znajomość koncepcji Data Mesh, Data Catalog oraz Event-Driven Architecture.

• Podstawowa znajomość Node.js, TypeScript oraz narzędzi observability.

✨ OFERUJEMY:

• 🤖 Nowoczesny proces rekrutacji z AI Rekruterem (AIR) - podczas aplikacji możesz odbyć rozmowę z wirtualnym rekruterem 24/7, bez czekania na telefon, z natychmiastowym feedbackiem i możliwością powtórzenia rozmowy (liczy się ostatnia wersja). Finalną decyzję zawsze podejmuje Rekruter Connectis.

• Uczestnictwo w spotkaniach integracyjnych oraz meetupach technologicznych, umożliwiających dzielenie się wiedzą i doświadczeniem.

• Wsparcie dedykowanej osoby kontaktowej z Connectis, dostępnej w celu pomocy w sprawach związanych z projektem.

• Rozwój kariery i długofalową współpracę w firmie o ugruntowanej pozycji na rynku.

• 5000 PLN za polecenie znajomych do naszych projektów.

• Dostęp do najnowszych technologii i narzędzi pracy.

• Możliwość pracy 100% zdalnej.

• Szybki i zdalny proces.

Dziękujemy za wszystkie zgłoszenia. Uprzejmie informujemy, że skontaktujemy się z wybranymi osobami.

12869/RJ