Data Engineer – Data Lake / BigQuery / Event-Driven Architecture

RITS Group to firma informatyczna, która oferuje najwyższej jakości usługi programistyczne zarówno dla rynku polskiego, jak i międzynarodowego. Jesteśmy dumni, że należymy do grona najszybciej rozwijających się spółek technologicznych. Naszym priorytetem jest jakość oraz innowacyjność dostarczanych rozwiązań, a nasza kultura organizacyjna opiera się na zaufaniu, współpracy i ciągłym doskonaleniu.

Oferujemy

Obecnie poszukujemy Data Engineerów, którzy dołączą do zespołu rozwijającego nowoczesną platformę danych opartą o architekturę Data Lake / Data Warehouse.

Najważniejsze informacje

Liczba osób: 2Forma współpracy: B2BStawka: do 170 zł/h netto + VATTryb pracy: hybrydowy – 1 dzień w tygodniu w biurze (Warszawa)Start: do uzgodnieniaCzas trwania projektu: ponad 12 miesięcy

O projekcie

Zespół buduje nowoczesną platformę danych wspierającą przetwarzanie dużych wolumenów danych w architekturze Data Lake oraz Data Warehouse. Rozwiązania powstają zarówno w środowiskach on-premise, jak i w chmurze Google Cloud Platform.

Praca obejmuje projektowanie pipeline’ów danych, modelowanie struktur danych oraz rozwój rozwiązań do przetwarzania danych w architekturze event-driven.

Obowiązki

Zakres obowiązków

• Projektowanie i rozwój rozwiązań klasy Data Lake oraz Data Warehouse

• Budowa i utrzymanie pipeline’ów ETL / ELT

• Projektowanie oraz optymalizacja modeli danych (logicznych i fizycznych)

• Optymalizacja zapytań SQL w bazach relacyjnych i hurtowniach danych

• Tworzenie procesów zasilania danych online oraz offline

• Projektowanie przepływów danych w środowisku on-prem oraz GCP

• Budowa rozwiązań do ładowania danych dla danych strukturalnych i niestrukturalnych

• Tworzenie datamartów tematycznych

• Współpraca z zespołami projektowymi przy projektowaniu architektury danych

• Wsparcie testów oraz wdrożeń zmian w procesach zasilania danych

• Rozwiązywanie incydentów i wsparcie utrzymania wdrożonych systemów

• Praca w modelu DevSecOps

Wymagania

Wymagania (must-have)

• Doświadczenie w projektowaniu i budowie rozwiązań Data Lake

• Doświadczenie w programowaniu w Python i/lub Rust

• Znajomość architektury event-driven (Kafka, Pub/Sub)

• Bardzo dobra znajomość GCP BigQuery (projektowanie, budowa i tuning baz danych)

• Znajomość relacyjnych baz danych Oracle oraz PostgreSQL

• Znajomość systemu operacyjnego Linux na poziomie zaawansowanego użytkownika

Mile widziane

• Doświadczenie w projektach Big Data wykorzystujących GenAI (np. przetwarzanie danych niestrukturalnych – audio, dokumenty, obrazy)

• AutomateNow

• Apache Airflow

• Apache Spark (preferowane GCP Dataproc)

• Apache Beam (preferowane GCP DataFlow)

• Informatica PowerCenter

Ta rola nie jest dla Ciebie, ale masz znajomego, który by się sprawdził? Poleć go i zgarnij nawet 5000 zł.

Referral Program: Talent from your network