Lead Data Architect

O projekcie

Realizujemy długoterminowy projekt dla klienta z branży ubezpieczeniowej w Wielkiej Brytanii.

Projekt obejmuje rozwój i modernizację całego ekosystemu cyfrowego – od gateway’ów integracyjnych, przez portale webowe i aplikacje mobilne, aż po nowoczesną platformę danych.

Obszar Data składa się z kilku zespołów pracujących z różnymi technologiami, m.in. Snowflake, ClickHouse oraz Microsoft SQL Server. Klient aktywnie rozwija swoje rozwiązania chmurowe i modernizuje istniejącą architekturę danych.

Szukamy osoby, która pomoże uporządkować i rozwinąć architekturę przepływu danych – nie tylko zaprojektować rozwiązania na papierze, ale również wesprzeć ich realną implementację.

To rola dla osoby, która łączy bardzo dobrą znajomość SQL Server internals, doświadczenie w CDC (Change Data Capture) oraz kompetencje architektoniczne.

O roli

Poszukujemy Principal Data Replication Architecta, który będzie odpowiedzialny za projektowanie strategii replikacji danych oraz architektury przepływu danych w dużym środowisku enterprise.

Szukamy osoby, która:

• rozumie wewnętrzne mechanizmy działania SQL Server,

• potrafi projektować rozwiązania replikacyjne na poziomie platformy,

• zna ograniczenia i możliwości różnych podejść CDC,

• potrafi podejmować decyzje architektoniczne oraz komunikować je interesariuszom.

Zakres obowiązków

• Projektowanie architektury replikacji danych wykorzystującej:

  • SQL Server Native CDC,

  • log-based capture,

  • Change Tracking,

  • batch, streaming oraz hybrydowe modele przesyłania danych.

• Projektowanie strategii:

  • incremental data movement,

  • ciągłości LSN,

  • retencji CDC,

  • odzyskiwania danych,

  • failover oraz failback.

• Analiza i optymalizacja działania SQL Server, w szczególności:

  • transaction log,

  • VLF management,

  • log backup chain,

  • log reuse waits,

  • AlwaysOn Availability Groups,

  • CDC capture oraz cleanup jobs.

• Projektowanie docelowej architektury przepływu danych oraz ocena różnych podejść:

  • SQL Server Native CDC,

  • Qlik Replicate,

  • Debezium,

  • HVR,

  • inne rozwiązania CDC.

• Definiowanie strategii zapewniających:

  • spójność danych,

  • możliwość ponownego przetwarzania,

  • mechanizmy reconciliation,

  • obsługę zmian schematu danych.

• Współpraca z zespołami DBA oraz Data:

  • definiowanie standardów replikacji,

  • poprawa niezawodności platformy,

  • wsparcie techniczne i mentoring.

• Przygotowywanie dokumentacji architektonicznej oraz prezentowanie rozwiązań technicznych stakeholderom.

Wymagania:

• Doświadczenie eksperckie z Microsoft SQL Server.

• Bardzo dobra znajomość:

  • transaction log internals,

  • LSN progression,

  • log truncation,

  • CDC capture i cleanup mechanisms,

  • wpływu AlwaysOn Availability Groups na CDC.

• Praktyczne doświadczenie produkcyjne z:

  • SQL Server Native CDC,

  • projektowaniem incremental loads,

  • obsługą dużych wolumenów danych,

  • monitorowaniem opóźnień replikacji.

• Doświadczenie w projektowaniu architektury danych end-to-end.

• Umiejętność:

  • tworzenia diagramów architektonicznych,

  • dokumentowania rozwiązań,

  • analizy kompromisów technologicznych.

• Bardzo dobra znajomość języka angielskiego – codzienna współpraca z klientem z Wielkiej Brytanii.

Mile widziane

• Doświadczenie z:

  • Qlik Replicate,

  • Debezium,

  • Kafka CDC,

  • Oracle GoldenGate,

  • HVR,

  • Fivetran.

• Znajomość:

  • Snowflake,

  • procesów ingestowania danych,

  • Data Quality Frameworks,

  • Infrastructure as Code,

  • rozwiązań chmurowych.

Technologie

• Microsoft SQL Server

• SQL Server CDC

• AlwaysOn Availability Groups

• Snowflake

• ClickHouse

• Qlik Replicate / narzędzia CDC

• Cloud Data Platforms

Oferujemy

• 100% pracę zdalną.

• Długoterminowy projekt – pierwsza umowa na 6 miesięcy z możliwością kontynuacji nawet do 2 lat.

• Stabilną współpracę przy dużym projekcie dla klienta z Wielkiej Brytanii.

• Realny wpływ na architekturę i rozwój platformy danych.

• Pracę z zespołami Data, DBA oraz architektami.

• Start projektu ASAP (możliwość rozpoczęcia w ciągu ok. 1–1,5 miesiąca).

Forma współpracy: B2B
Model pracy: 100% remote
Język projektu: angielski
Start: ASAP