Senior Data Engineer

Jako Senior Data Engineer będziesz częścią zespołu Xelerit, wspierając naszego klienta LEXGEN w części związanej z data engineeringiem. LEXGEN to holenderska firma wykorzystująca sztuczną inteligencję (AI) do tworzenia innowacyjnych rozwiązań legal-tech, które upraszczają złożone procesy prawne. Ich flagowe produkty dostarczają profesjonalistom narzędzia oparte na AI, które zwiększają efektywność pracy, dokładność i przejrzystość. Dowiedz się więcej o ich misji i rozwiązaniach na https://lexgen.nl/home-english/.

Wymagania:

✅Bardzo dobra znajomość Pythona i SQL.

✅Praktyczne doświadczenie w pracy z Databricks.

✅Doświadczenie w pracy z web API, projektowaniu i tworzeniu pipeline'ów ETL oraz budowaniu wydajnych modeli danych.

✅Umiejętność efektywnej pracy w cyklach sprintowych w dynamicznym środowisku startupowym.

✅Znajomość języka angielskiego na poziomie min. B2

Mile widziane:

✅Doświadczenie z Weaviate LLM lub ElasticSearch

✅Znajomość technik web scrapingu

✅Znajomość Terraform 

✅Doświadczenie w tworzeniu pipeline'ów CI w GitHub

Obowiązki:

✅Projektowanie, rozwijanie i optymalizacja procesów ETL, integrację z web API oraz przetwarzanie i modelowanie danych.

✅Tworzenie i utrzymywanie pipeline'ów danych w środowisku Databricks.

✅Budowa i optymalizacja modeli danych, zapewniających wydajność i skalowalność przetwarzanych danych.

✅Tworzenie i rozwijanie mechanizmów wyszukiwania danych przy wykorzystaniu Weaviate LLM lub ElasticSearch.

✅Realizacja zadań związanych z web scrapingiem w przypadku konieczności pozyskania danych ze źródeł zewnętrznych.

✅Współpraca z zespołem programistów oraz udział w planowaniu i realizacji sprintów w metodyce Agile.

✅Tworzenie i rozwijanie pipeline'ów CI/CD w środowisku GitHub Actions.

✅Wdrażanie i utrzymywanie infrastruktury w modelu Infrastructure as Code przy użyciu Terraform.

✅Praca w dynamicznym środowisku startupowym

Nasza oferta:

💲 Długoterminowa współpraca B2B, nasze widełki: 24 000-30 000 pln net +VAT miesięcznie

🌞 26 dni płatnych dni wolnych rocznie

📍 Praca zdalna + od czasu do czasu spotykamy się w przestrzeni coworkingowej oraz integracjach w Gdańsku (nic na siłę, tylko dla chętnych)

🥇 Budżet na rozwój osobisty + Opieka medyczna: Medicover +Karta sportowa: Medicover Sport

🤸‍♂️ Luźna atmosfera, brak biurokracji i formalności