Senior Data Engineer

Data

Senior Data Engineer

Data
Sobieszyńska, Warszawa

AUTENTI Sp. z o.o.

Job offers AUTENTI Sp. z o.o.
B2B Contract
B2B
Senior
Remote

Job description

Autenti to europejska platforma usług zaufania, która łączy ludzi i firmy w przestrzeni cyfrowej, zapewniając szybkość, wygodę i bezpieczeństwo. Wspieramy firmy w zarządzaniu dokumentami - od e-podpisów (Autenti eSign), przez weryfikację tożsamości (Autenti eID), po e-doręczenia i archiwizację (Autenti eDelivery, Autenti eDocument). Z naszych rozwiązań korzystają tysiące organizacji w całej Europie, w tym firmy z wymagających sektorów, takich jak bankowość czy ochrona zdrowia.

W Autenti wierzymy, że najlepsze rozwiązania powstają, kiedy działamy razem. Stawiamy na zaufanie, współpracę i szacunek, i staramy się tworzyć środowisko, w którym każdy głos ma znaczenie. Jednocześnie bezpieczeństwo i zgodność stanowią fundament naszych działań. Działając w oparciu o sprawdzone standardy i stale doskonaląc nasze praktyki, tworzymy rozwiązania, na których mogą polegać nasi klienci.

Kogo szukamy?

Szukamy osoby, która pomoże nam zbudować platformę danych - od pobierania danych z systemów źródłowych, przez hurtownię i spójne metryki, po BI i modele analityczne. Szukamy kogoś, kto lubi zarówno projektować rozwiązania, jak i samodzielnie je wdrażać, a za dobry efekt uznaje sprawnie działający system.
Dobrze odnajdziesz się w tym projekcie, jeśli masz za sobą migrację do chmury i wiesz, co dzieje się z platformą po jej uruchomieniu. Szczególnie docenimy doświadczenie z firm produktowych, SaaS, e-commerce, mediów lub telco, w których odpowiadał_ś za platformę i pracę z danymi na większą skalę.

Zakres projektu

  • Zbudowanie i utrzymanie pipeline’ów danych - pozyskiwanie, orkiestracja, transformacja i udostępnianie danych na potrzeby raportowania oraz analityki.

  • Zaprojektowanie i wdrożenie hurtowni danych - modelowanie struktur oraz dobór rozwiązań zapewniających wydajność, skalowalność i kontrolę kosztów.

  • Uruchomienie replikacji CDC z bazy produkcyjnej i/lub streamingu danych - wraz z określeniem zakresu replikacji i doborem architektury.

  • Zapewnienie jakości i niezawodności danych - wdrożenie testów, monitoringu i alertów, które pozwolą wykrywać awarie zasilania, zanim zauważą je odbiorcy raportów.

  • Budowa warstwy semantycznej, agregatów i słowników - wspólne definicje metryk oraz dashboardy korzystające bezpośrednio z modelu danych.

  • Wdrożenie warstwy BI i produkcyjne uruchomienie modeli analitycznych - między innymi przewidywania churnu, LTV i konwersji oraz segmentacji klientów.

Czego oczekujemy?

  • Minimum 6 lat doświadczenia w inżynierii danych, w tym co najmniej jednej migracji zakończonej wdrożeniem produkcyjnym. Atutem będzie znajomość kilku generacji technologii danych oraz odpowiedzialność za platformę po jej uruchomieniu.

  • Eksperckiej znajomości SQL i chmurowych hurtowni danych - projektowania schematów, analizy planów wykonania, optymalizacji zapytań, partycjonowania, klastrowania i kontroli kosztów.

  • Umiejętności tworzenia produkcyjnego kodu w Pythonie i orkiestracji procesów z wykorzystaniem Airflow, Dagster, Workflows lub podobnych narzędzi, a także znajomości mechaniki CDC i replikacji logicznej.

  • Dobrych praktyk inżynierskich - transformacji w wersjonowanym SQL (dbt lub Dataform), testów i dokumentacji w repozytorium, codziennej pracy z Git i CI/CD oraz przeglądów kodu.
    Praktycznej znajomości bezpieczeństwa danych - zarządzania sekretami, tożsamościami usług i dostępem opartym na rolach. Dodatkowym atutem będzie doświadczenie z pipeline’ami wykorzystującymi modele językowe do klasyfikacji, wzbogacania danych lub wyszukiwania wektorowego.

  • Samodzielności od wymagań do wdrożenia - umiejętności przekładania potrzeb finansów, produktu i IT na rozwiązania techniczne oraz podejmowania i wdrażania decyzji bez bieżącego nadzoru technicznego. 

Jak będzie wyglądać współpraca i co oferujemy?

  • Projektową współpracę B2B, opartą na uzgodnionym zakresie, etapach i rezultatach.

  • Samodzielność techniczną i wpływ na architekturę - od wyboru podejścia po jego wdrożenie i uruchomienie produkcyjne.

  • Bezpośrednią współpracę z finansami, produktem i IT, aby rozwiązania odpowiadały na konkretne potrzeby biznesowe.

  • Nasz sprzęt i oprogramowanie niezbędne do realizacji projektu.

  • Zdalną współpracę i elastyczne godziny - samodzielnie organizujesz swój czas, uwzględniając uzgodnione terminy i spotkania projektowe.

Chcesz porozmawiać o projekcie? Prześlij CV i krótko opisz migrację, którą przeprowadził_ś albo platformę danych, za której wdrożenie i działanie odpowiadałe_ś

Tech stack

    English

    B2

    SQL

    master

    Airflow

    advanced

    Dagster

    advanced

    CDC

    advanced

    Git

    regular

    CI/CD

    regular

Office location

Similar offers
DCG

DCG

Warszawa

Remote

Remote

33,30 - 35,86USD/h
Apache Spark
Python
SQL
Microsoft Azure Cloud
Azure Data Lake
Azure Databricks
SeniorSeniorB2BB2BFull-timeFull-time
New
ADVERTISEMENT: Recommended by Just Join IT
Recommended offer
Billennium

Billennium

Remote

Remote

Undisclosed Salary
Scala
Big Data
Hadoop
Python
Hive
SeniorSeniorB2BB2BFull-timeFull-time
New
Similar offers
DCG

DCG

Warszawa

Remote

Remote

33,30 - 35,86USD/h
Apache Spark
Python
SQL
Microsoft Azure Cloud
Azure Data Lake
Azure Databricks
SeniorSeniorB2BB2BFull-timeFull-time
New
JellyLabs Tech

JellyLabs Tech

Warszawa

Remote

Remote

38,25 - 39,53USD/h
Python
SQL
Apache Spark
SeniorSeniorB2BB2BFull-timeFull-time
New
P&P Solutions

P&P Solutions

Warszawa

Remote

Remote

33,15 - 38,25USD/h
Python
SQL
Apache Spark
Microsoft Azure Cloud
Azure Databricks
Delta Live Tables (DLT)
Lakehouse Architecture
Power BI
CI/CD
ETL/ELT
SeniorSeniorB2BB2BFull-timeFull-time
New
BlueSoft

BlueSoft

Warszawa

Remote

Remote

Undisclosed Salary
PostgreSQL
Airflow
Python
Kafka
SQL
Apache Spark
Apache Beam
BigQuery
SeniorSeniorB2BB2BB2B ContractB2B Contract
New
Sigmoidal AI

Sigmoidal AI

Remote

Remote

7 666,36 - 9 199,63USD/month
Data engineer
Data modeling
Snowflake
DBT
Airflow
SQL
data governance
Python
SeniorSeniorB2BB2BFull-timeFull-time
New
ADVERTISEMENT: Recommended by Just Join IT