Data management, data governance i data modernization – jak okiełznać proces zarządzania danymi w organizacji

W dzisiejszej rzeczywistości bez wątpienia dane są złotem, a to, na ile efektywnie organizacje je wykorzystują, może decydować o ich przewadze na rynku. Gromadzone, analizowane i przetwarzane we właściwy sposób dane przekładają się na nowe możliwości biznesowe, dają wgląd w potencjalne problemy związane z infrastrukturą technologiczną, ułatwiają przewidywanie i przeciwdziałanie zagrożeniom związanym z bezpieczeństwem, a także pozwalają wpływać na wzrost satysfakcji pracowników. 

Viji Krishnaprasad. Director, Software Architect w Concentrix. Posiada ponad 20 lat doświadczenia w projektowaniu i tworzeniu oprogramowania. Zakres jej kompetencji obejmuje rozwój aplikacji, Middleware oraz technologii związanych z danymi i chmurą. Viji uwielbia poszerzać swoje umiejętności i poznawać nowe technologie. Kiedy nie koduje, spędza czas na czytaniu i słuchaniu muzyki.

Prashant Mediratta. Data Warehouse Manager w Concentrix. W branży IT pracuje już prawie dwie dekady, a od 15 lat zajmuje się projektami związanymi z danymi. Pełnił funkcję programisty, projektanta i architekta w różnego rodzaju inicjatywach opartych na danych. Z pasją uczy się nowych technologii, dotrzymując kroku dynamicznie zmieniającej się dziedzinie, jaką jest świat danych.

Nie powinno zatem nikogo dziwić, że firmy coraz częściej interesują się tym, jak zarządzać danymi w sposób, który pozwoli odblokować ich pełny potencjał. Żeby tak mogło się stać, inżynierowie muszą przemyśleć kwestie modernizacji infrastruktury w organizacji i zastanowić się, jak strategicznie zaplanować obsługę rozprzestrzeniania się danych w całym przedsiębiorstwie.

Pojawia się w takim razie pytanie, jak rozsądnie podejść do procesu zarządzania danymi w firmie?

Jedno jest pewne: powodzenie takiej transformacji zależy od wielu czynników, takich jak ludzie, technologie oraz procesy, a ujęcie tych wszystkich aspektów, a także zrozumienie ich wzajemnych relacji decyduje o sukcesie całej operacji.

Poznaj swoją organizację i zaplanuj podróż

Jak w każdym procesie, na początek przydaje się dogłębna analiza stanu obecnego oraz celu, do jakiego dążymy. Pomaga ona w sformułowaniu nowej strategii dotyczącej danych – strategii, która uwzględnia priorytety, już funkcjonujące procesy oraz narzędzia dostępne w organizacji.

Ważną częścią takiej analizy jest zrozumienie aktualnych wzorców konsumpcji danych w firmie, pozyskanie informacji o tym, kto ma do nich dostęp oraz ocena dojrzałości obecnego systemu. Świadomość tego, jak użytkownicy wchodzą w interakcję z centralną platformą danych – czy na zasadzie pełnej otwartości, czy też poprzez funkcjonujące w firmie silosy – jest bardzo potrzebna do identyfikacji potrzeb i przyzwyczajeń pracowników oraz managerów. A to wszystko ma ogromne znaczenie w projektowaniu elastycznej architektury IT, tworzonej w taki sposób, by ktoś chciał z niej korzystać.

Zabezpiecz wszystkie fronty i myśl holistycznie!

Modernizacja zarządzania danymi w firmie to kompleksowe zadanie i naturalne jest, że chcemy podzielić ten proces na mniejsze, bardziej „lekkostrawne” elementy. Warto jednak przy tym pamiętać, że wszystkie aspekty procesu są ze sobą powiązane i współzależne. Przykładowo perfekcyjne wdrożenie nie naprawi architektury, która jest źle zaprojektowana. I odwrotnie, nawet doskonały projekt nie zadziała bez rzetelnie przeprowadzonej implementacji. 

Zarządzanie danymi

Nieefektywne zarządzanie danymi może znacząco utrudnić wykorzystanie pełnego potencjału z nich płynącego. Współczesne organizacje muszą przyjąć nowoczesne podejście do data management, które zakłada, że dane są precyzyjne, łatwo wyszukiwalne i dostępne dla użytkowników dokładnie wtedy, kiedy ich potrzebują. 

W tworzeniu procesu efektywnego zarządzania danymi należy zwrócić uwagę na takie elementy, jak:

• Zunifikowany język: wspólne i ustandaryzowane definicje pozwalają całej organizacji mówić tym samym głosem. Identyfikacja głównych domen i subdomen w celu opracowania i normalizacji definicji danych musi być ważną częścią strategii danych. W szczególności polecam inwestycję w stworzenie katalogu danych, który stanowić będzie repozytorium wszystkich danych, procesów, definicji i metadanych.
• Ujednolicenie danych: informacje w organizacji można pobierać, przechowywać, przetwarzać i eksponować z zastosowaniem wielu różnych narzędzi, ale w ostatecznym rozrachunku doświadczenie z korzystania z danych powinno być takie samo dla wszystkich użytkowników. Muszą oni mieć jednakowo prostą i klarowną ścieżkę użytkowania danych, nie zastanawiając się nad tym, skąd te dane pochodzą i jak są przechowywane.
• Jakość: to główny element układanki, jaką jest zarządzanie danymi. W dodatku kluczowy dla powodzenia całego procesu, ponieważ niska jakość danych nieuchronnie powoduje spadek zaufania do systemu. Gdy mówimy o jakości danych, musimy mieć na myśli zarówno obiektywne wskaźniki, jak i subiektywne poglądy, jakie użytkownicy mają w odniesieniu do konkretnych zbiorów informacji. Należy też w tym miejscu dodać, że zarządzanie jakością danych powinno być skrupulatnie monitorowanym procesem.
• Zarządzanie ładem danych (data governance): dane są w nowoczesnych organizacjach dobrem wszystkich, a co za tym idzie odpowiedzialność za zarządzanie nimi nie może należeć do obowiązków tylko jednej osoby czy zespołu. W ten proces włączone muszą być wszystkie działy organizacji, zarówno w strukturze pionowej, jak i poziomej. Zdefiniowanie poziomów zarządzania zasobami może pomóc w wyłonieniu priorytetów i zbudowaniu mapy drogowej (roadmap) dla przyszłych usprawnień bez hamowania przy tym rozwoju innowacji w organizacji. Stopień szczegółowości w data governance powinien być dostosowany do potrzeb firmy, jej wielkości, a także m.in. dojrzałości technologicznej.
• DataOps: w tym ujęciu pojęcie to odnosi się do automatyzacji całego cyklu życia danych, od ich pozyskiwania do analizy, w celu zwiększenia wydajności i niezawodności. DataOps opiera się na standardowych praktykach tworzenia aplikacji, skupiając się na zarządzaniu operacjami na danych, środowiskiem programistycznym i analityką w celu płynniejszego wdrożenia etapu produkcyjnego.

Uprawnienia

Zbyt ograniczony dostęp do pracy z danymi jest częstą barierą w procesie zbierania i zarządzania informacjami. W większości organizacji pracownicy pionów IT i biznesowego, w tym również kadra zarządzająca muszą polegać wyłącznie na inżynierach danych lub doświadczonych technicznie specjalistach, gdy potrzebują opracowania danych do analizy lub wygenerowania potrzebnych raportów. Tymczasem umożliwienie wszystkim pracownikom korzystania z danych w modelu samoobsługowym pozwala na usunięcie barier i przyspieszenie pracy w zakresie eksploracji danych. Żeby jednak taki model zadziałał, konieczne jest regularne podnoszenie kwalifikacji technologicznych przez wszystkich pracowników w firmie niezależnie od ich stanowiska i zakresu obowiązków. Dlatego warto w planie modernizacji danych uwzględnić czas na dodatkowe szkolenia.

Monitorowanie i Obserwowalność (Observability)

W świecie ciągle zmieniających się danych i aktualizowanych modeli uczenia maszynowego inwestycja w sprawnie działający monitoring jest kluczowa. Obserwowalność systemu danych jest niezbędna do tego, by na bieżąco analizować działanie i wykrywać nieprawidłowości, zanim jeszcze wyrządzą one szkody w organizacji. 

Odpowiednie narzędzia i ramy dotyczące jakości danych też ułatwiają identyfikację wyzwań, ale monitoring i obserwowalność umożliwiają wykrywanie i rozwiązywanie problemów tak szybko, jak tylko zostaną rozpoznane. A najlepiej, gdy do tego działania zastosowane zostaną także najlepsze praktyki z obszaru DevOps. 

Technologia jako facylitator

Technologia musi być traktowana jako czynnik wspierający, a nie kluczowy dla procesu modernizacji danych. Dobór odpowiednich narzędzi IT powinien być zależny od takich cech, jak skalowalność, wydajność, bezpieczeństwo, możliwość rozbudowy i łatwość w utrzymaniu. Dzięki odpowiednim inwestycjom technologicznym dane mogą być w lepszy sposób gromadzone, weryfikowane, integrowane i zbierane.

Jedną z technologii, które cieszą się zainteresowaniem w każdej branży, jest uczenie maszynowe i obszar zarządzania danymi nie jest tutaj wyjątkiem. Narzędzia oparte o AI/ML mogą być wykorzystane z powodzeniem przykładowo do zapewniania jakości danych. Ważne jednak, żeby nowych technologii nie wprowadzać na siłę, a raczej pozwolić im na integrację z tradycyjnym przepływem danych, rozwój i dojrzewanie w zgodzie z całym ekosystemem informatycznym. 

Faza realizacji

Przejście na nową platformę danych powinno być rozpatrywane nie w kategoriach migracji a transformacji. Bowiem stosując migrację, ryzykujemy tym, że możemy powielać błędy z przeszłości w nowym środowisku. Z kolei transformacja przekłada się na tworzenie środowiska z mniejszą ilością kodu, modułami wielokrotnego użytku, solidną strukturą przepływu danych, bezpiecznego i z elastycznym modelem dostępu.

Realizacja planu transformacji powinna przebiegać etapowo z demonstracją wartości przyrostowych. W końcu nie od razu Rzym zbudowano.

Oferty pracy z

Kilka słów na zakończenie

Gdy już przeprowadziliśmy poprawnie cały proces transformacji, naturalne staje się pytanie: co teraz? Ja jednak pójdę o krok dalej i zapytam: czy transformację można kiedykolwiek uznać za proces zakończony? Biorąc pod uwagę, jak szybko zmieniają się okoliczności prowadzenia firmy i potrzeby biznesu dotyczące wykorzystywania możliwości wynikających z gromadzenia informacji uważam, że jedynym słusznym podejściem jest postawa zwinna (agile). Zdolność do adaptacji, monitorowania i wprowadzania ciągłych ulepszeń oraz korekt w trakcie realizacji procesu powinna być podstawą każdej inicjatywy związanej z danymi. 

Strategię wykorzystania danych w firmie możemy uznać za realizowaną wtedy, gdy dane pochodzące z różnych działów łączą się w harmonii, wyśpiewując wspólnie symfonię. Ta melodia powinna być muzyką dla ucha każdego przedsiębiorstwa, a my w Concentrix Software Solutions wiemy, jak prawidłowo nastroić wszystkie instrumenty.