Data Engineer

Kim jest H2B Group?

Jesteśmy firmą konsultingową, która pomaga klientom w automatyzacji procesów biznesowych przy pomocy AI, a specjalistom IT rozwijać karierę w modelu B2B. Oferujemy projekty z branż takich jak fintech, medtech, edutech czy automatyka przemysłowa. Dzięki ścisłej współpracy wspieramy rozwój naszych klientów poprzez dostarczanie szybkich i mierzalnych efektów, jednocześnie zapewniając specjalistom IT możliwości rozwoju kariery i zdobywania cennego doświadczenia.

Dlaczego warto z nami współpracować?

✨ Elastyczność – Wybierasz projekty dopasowane do swoich umiejętności i zainteresowań, z możliwością zmiany w ramach naszej firmy lub grupy Euvic, której jesteśmy częścią.

💡 Przejrzystość – Masz jasne zasady współpracy i pełną transparentność wynagrodzenia oraz warunków.

🚀 Szybkość działania – Dzięki naszej efektywności szybko znajdziesz lub zmienisz projekt, który idealnie odpowiada Twoim kompetencjom.

🌟 Możliwość rozwoju – Pracujesz przy innowacyjnych projektach, rozwijając kluczowe kompetencje i zdobywając cenne doświadczenie.

Poszukujemy doświadczonego Senior Data Engineera, który dołączy do naszego zespołu i wesprze projekty z zakresu doradztwa, produkcji, logistyki oraz podatków i audytów w USA. Rola obejmuje projektowanie modeli danych, rozwijanie oraz zapewnianie wysokiej jakości danych do raportowania operacyjnego.

Główne obowiązki

Modelowanie danych i rozwój ETL

• Projektowanie i wdrażanie modeli danych.
• Tworzenie kodu SQL do definiowania struktur danych i transformacji danych z warstwy staging do martów.
• Opracowywanie mapowań Source to Target (STM) dla specyfikacji ETL.
• Ocena źródeł danych, analiza ich jakości i dobór optymalnych metod integracji.
• Budowa strategii integracji danych z różnych źródeł i hurtowni danych.
• Optymalizacja i utrzymanie potoków danych dla SDCM, ECM i DCM, w tym spłaszczanie struktur JSON do tabel w Snowflake.
• Praca z modelowaniem typu data vault (mile widziane).
• Wdrażanie zmian w procesie spłaszczania JSON zgodnie z wymaganiami biznesowymi.

Jakość danych i optymalizacja wydajności

• Tworzenie i wykonywanie testów jednostkowych w celu weryfikacji poprawności kodu.
• Optymalizacja wydajności potoków danych i rozwiązywanie problemów z jakością danych.
• Wdrażanie aktywnego monitoringu potoków danych i jakości danych.

Wymagania

Kluczowe umiejętności i doświadczenie

• Zaawansowana znajomość SQL w zakresie ETL, modelowania danych i optymalizacji wydajności.
• Doświadczenie praktyczne z Snowflake i Databricks.
• Biegłość w Pythonie, zwłaszcza w zakresie obsługi i spłaszczania złożonych struktur JSON.
• Znajomość architektury hurtowni danych w chmurze (np. AWS S3, Databricks, AWS Redshift).
• Znajomość narzędzia DBT (Data Build Tool) do transformacji danych.
• Doświadczenie w pracy z Airflow do orkiestracji procesów.
• Zrozumienie zasad inżynierii oprogramowania i praktyk testowych w środowisku Agile.
• Doskonałe umiejętności pracy zespołowej i komunikacyjne.
• Biegła znajomość języka angielskiego (w mowie i piśmie).

Czekamy na Twoje zgłoszenie!