Data Architect

Opis projektu:

Nasz Klient to państwowa jednostka o znaczeniu strategicznym, odpowiedzialna za utrzymanie i rozwój kluczowej infrastruktury w sektorze lotnictwa cywilnego. Instytucja ta pełni nadrzędną rolę w zapewnianiu ciągłości i bezpieczeństwa operacji transportowych na skalę krajową, działając w oparciu o rygorystyczne normy publiczne oraz międzynarodowe standardy regulacyjne.

Zadania:

Zadania Data Architekta są skoncentrowane na budowie Data Lake i optymalizacji kluczowych punktów danych.

a) Zadania w obszarze Software:

• Definiowanie architektury systemów rozproszonych: Obejmuje opracowywanie koncepcji i wzorców umożliwiających integrację różnych źródeł danych w jedno centralne repozytorium, z uwzględnieniem skalowalności i odporności na błędy.

• Definiowanie wzorców architektonicznych: Polega na tworzeniu i dokumentowaniu standardowych rozwiązań technicznych, które umożliwiają spójną integrację narzędzi Big Data, takich jak na przykład Apache Hadoop, Apache Spark czy Kafka, w ramach Data Lake.

• Opracowywanie modeli danych: Polega na tworzeniu logicznych i fizycznych modeli, które opisują strukturę, przepływ i transformację danych, umożliwiając optymalizację procesów ekstrakcji, transformacji i ładowania danych.

• Tworzenie diagramów architektonicznych: Obejmuje opracowywanie diagramów przepływu danych, diagramów komponentów oraz schematów integracji systemów, które ilustrują sposób zbierania, przetwarzania i przechowywania danych w Data Lake.

• Definiowanie standardów bezpieczeństwa i polityk zarządzania danymi: Polega na ustalaniu procedur zabezpieczania danych, mechanizmów szyfrowania, kontroli dostępu oraz procedur zgodnych z regulacjami prawnymi, które zapewnią ochronę centralnego repozytorium.

b) Zadania w obszarze Hardware:

• Definiowanie wymagań infrastruktury sprzętowej: Obejmuje określanie specyfikacji serwerów, systemów storage (NAS, SAN, rozwiązania rozproszone) oraz urządzeń sieciowych, które będą wspierać budowę Data Lake.

• Opracowywanie konfiguracji centrów danych: Polega na definiowaniu konfiguracji fizycznej centrów danych, uwzględniając aspekty takie jak chłodzenie, zasilanie, redundancja oraz systemy wirtualizacji, aby zapewnić stabilne środowisko dla centralnego repozytorium danych.

• Optymalizowanie wykorzystania sprzętu specjalistycznego: Obejmuje określanie sposobu wykorzystania GPU, FPGA i innych akceleratorów sprzętowych do przyspieszania przetwarzania danych oraz wsparcia analityki w ramach Data Lake.

• Definiowanie rozwiązań infrastrukturalnych chmurowych i hybrydowych: Polega na opracowywaniu strategii wdrażania rozwiązań multi-cloud lub hybrydowych, które umożliwią elastyczne skalowanie oraz optymalizację kosztową centralnego repozytorium danych.

c) Zadania w obszarze kompetencji biznesowych i komunikacyjnych:

• Analizowanie potrzeb biznesowych i definiowanie strategii zarządzania danymi: Obejmuje identyfikację wymagań organizacji oraz opracowywanie strategii, które tłumaczą te potrzeby na konkretne rozwiązania technologiczne skoncentrowane na budowie Data Lake.

• Komunikowanie koncepcji Data Lake: Polega na przygotowywaniu prezentacji, raportów oraz diagramów, które w przystępny sposób przedstawiają korzyści płynące z integracji danych w jednym centralnym repozytorium, zarówno dla zespołów technicznych, jak i decydentów nietechnicznych.

• Negocjowanie i ustalanie harmonogramów wdrożeń: Obejmuje współpracę z interesariuszami w celu ustalenia zakresu projektu, budżetu oraz kryteriów sukcesu wdrożenia, przy jednoczesnym uwzględnieniu elastyczności podziału ról, jeśli zajdzie taka potrzeba.

d) Zadania związane z integracją kluczowych punktów danych do jednego repozytorium:

• Mapowanie źródeł danych: Polega na identyfikacji i dokumentowaniu wszystkich kluczowych punktów danych w organizacji oraz określaniu strategii ich migracji do centralnego repozytorium Data Lake.

• Optymalizowanie przepływu danych: Obejmuje definiowanie procesów, które umożliwią efektywną ekstrakcję, transformację i ładowanie danych z różnych systemów źródłowych, zapewniając spójność, aktualność i optymalną wydajność Data Lake.

• Opracowywanie kompleksowej dokumentacji: Polega na tworzeniu szczegółowych diagramów i dokumentów opisujących wykorzystywane technologie software oraz konfigurację hardware, które razem tworzą spójną architekturę Data Lake, wspierającą optymalizację wszystkich kluczowych punktów danych. Data Architekt skupia się przede wszystkim na budowie Data Lake jako centralnego repozytorium danych w firmie. Jego zadania obejmują definiowanie architektury i wzorców systemów rozproszonych, opracowywanie modeli i diagramów integracji, ustalanie wymagań sprzętowych, optymalizację przepływu danych oraz komunikację strategiczną z interesariuszami.

Dopuszczalny podział ról jest następujący:

− Software Data Architekt, którego kompetencje obejmą punkty a, c, d powyżej.

− Hardware Data Architekt, którego kompetencje obejmie punkt b powyżej.

Wymagania:

• Wyższe wykształcenie (informatyka, inżynieria danych, matematyka, statystyka lub pokrewne).

• Przynajmniej 3 lata doświadczenia w projektowaniu i wdrażaniu architektury danych, lub systemów Big Data.

• Umiejętności Techniczne (Software):

• Projektowanie architektur systemów rozproszonych i wzorców integracji danych.

• Biegłość w SQL, pracy z relacyjnymi i nierelacyjnymi bazami danych.

• Znajomość narzędzi ETL, na przykład Apache Hadoop, Spark, Kafka, platform chmurowych.

• Doświadczenie w automatyzacji wdrożeń (CI/CD, Docker, Kubernetes).

• Biegłe posługiwanie się językiem polskim.

Umiejętności Techniczne (Hardware):

• Określanie wymagań sprzętowych dla centrów danych, serwerów i systemów storage.

• Wiedza na temat konfiguracji sieci, infrastruktury chmurowej i rozwiązań hybrydowych.

• Umiejętność wykorzystania sprzętu specjalistycznego (na przykład GPU, FPGA).

Kompetencje Biznesowe i Komunikacyjne:

• Tłumaczenie wymagań biznesowych na konkretne rozwiązania technologiczne.

• Doskonałe umiejętności komunikacji i prezentacji dla zespołów technicznych i decydentów.

• Umiejętność negocjacji, zarządzania projektami i priorytetyzacji zadań. Znajomość Regulacji:

• Przestrzeganie standardów bezpieczeństwa, ochrony danych (RODO) oraz zgodności z regulacjami prawnymi.

Certyfikaty i Dodatkowe Kwalifikacje:

• Certyfikaty z zakresu na przykład Big Data, chmury, architektury danych będą dodatkowym atutem.

Co oferujemy?

• Pracę zdalną z możliwością przyjazdów co jakiś czas do biura w Warszawie.

• Pracę na naszym sprzęcie.

• Płaską strukturę zarządzania.

• Samoorganizujące się zespoły.

• Dużo przestrzeni na własną inicjatywę.

• Możliwość delegacji na terenie Unii Europejskiej lub Wielkiej Brytanii.