Senior Data Engineer

Jako Senior Data Engineer będziesz częścią zespołu Xelerit wspierając naszego klienta LEXGEN w części związanej z data engineeringiem. LEXGEN to holenderska firma wykorzystująca sztuczną inteligencję (AI) do tworzenia profesjonalnych rozwiązań legal-tech, które upraszczają złożone procesy prawne. Ich flagowe produkty dostarczają profesjonalistom narzędzia oparte na AI, które zwiększają efektywność pracy, dokładność i przejrzystość. Dowiedz się więcej o rozwiązaniach: LEXGEN AI - Generatieve AI voor juristen, fiscalisten en accountants.

Wymagania:

✅Bardzo dobra znajomość Pythona i SQL.

✅Praktyczne doświadczenie w pracy z Databricks.

✅Doświadczenie w pracy z web API, projektowaniu i tworzeniu pipeline'ów ETL oraz budowaniu wydajnych modeli danych.

✅Umiejętność efektywnej pracy w cyklach sprintowych w dynamicznym środowisku startupowym.

✅Znajomość języka angielskiego na poziomie min. B2

Mile widziane:

✅Doświadczenie z Weaviate LLM lub ElasticSearch

✅Znajomość technik web scrapingu

✅Znajomość Terraform 

✅Doświadczenie w tworzeniu pipeline'ów CI w GitHub

Obowiązki:

✅Projektowanie, rozwijanie i optymalizacja procesów ETL, integrację z web API oraz przetwarzanie i modelowanie danych.

✅Tworzenie i utrzymywanie pipeline'ów danych w środowisku Databricks.

✅Budowa i optymalizacja modeli danych, zapewniających wydajność i skalowalność przetwarzanych danych.

✅Tworzenie i rozwijanie mechanizmów wyszukiwania danych przy wykorzystaniu Weaviate LLM lub ElasticSearch.

✅Realizacja zadań związanych z web scrapingiem w przypadku konieczności pozyskania danych ze źródeł zewnętrznych.

✅Współpraca z zespołem programistów oraz udział w planowaniu i realizacji sprintów w metodyce Agile.

✅Tworzenie i rozwijanie pipeline'ów CI/CD w środowisku GitHub Actions.

✅Wdrażanie i utrzymywanie infrastruktury w modelu Infrastructure as Code przy użyciu Terraform.

✅Praca w dynamicznym środowisku startupowym

Nasza oferta:

💲 Długoterminowa współpraca B2B, nasze widełki: 24 000-30 000 pln net +VAT miesięcznie

🌞 26 dni płatnych dni wolnych rocznie

📍 Pełna elastyczność - możesz pracować w pełni zdalnie lub w trybie hybrydowym z naszego biura w Gdańsku

🥇 Budżet na rozwój osobisty + Opieka medyczna: Medicover +Karta sportowa: Medicover Sport

🤸‍♂️ Luźna atmosfera, brak biurokracji i formalności