Data Engineer
Other
Data Engineer
DCG
Warszawa
Type of work
Undetermined
Experience
Mid
Employment Type
B2B
Operating mode
Remote
DCG
DCG to ludzie z pasją do nowoczesnych technologii🐱💻i takich też ludzi poszukujemy do naszego zespołu. Aktualnie jest nas ponad 450 świetnych ekspertów 🐱🚀. Ty też możesz być jednym z nich. Sprawdź 👉 www.dcg.pl/karierawit i dołącz do #TeamDCG 💚
Tech stack
Hadoop
MS Azure
GPC
AWS
Python
Scala
Git
Linux
ETL
Big Data
Job description
Online interview
DCG jest firmą technologiczną, gromadzącą w swoich szeregach profesjonalistów związanych z IT. W związku z ciągłym rozwojem i dużą liczbą prowadzonych przez nas projektów stale poszukujemy nowych pracowników i współpracowników, posiadających wysokie kompetencje w obszarze IT lub w innym obszarze zgodnym z informacjami podanymi w ogłoszeniu.
O projekcie:
Projekty dotyczą branży finansowej, bankowej i ubezpieczeniowej. IT pracuje dla Klientów zewnętrznych i wewnętrznych.
W tym przypadku jest to obszar inżynierii danych i analityki danych w środowisku Big Data, np. praca w długofalowym projekcie polegająca na rozwoju i utrzymaniu data lake z danymi klientów z ponad 50 źródeł i 40 TB.
Zakres zadań:
O projekcie:
Projekty dotyczą branży finansowej, bankowej i ubezpieczeniowej. IT pracuje dla Klientów zewnętrznych i wewnętrznych.
W tym przypadku jest to obszar inżynierii danych i analityki danych w środowisku Big Data, np. praca w długofalowym projekcie polegająca na rozwoju i utrzymaniu data lake z danymi klientów z ponad 50 źródeł i 40 TB.
Zakres zadań:
- Zbieranie wymagań dotyczących produktów danych i budowanie zaległości funkcji
- Projektowanie, wdrażanie i monitorowanie ETL w chmurze
- Regularna komunikacja z interesariuszami
- Ocena nowych dostawców danych
- Wspieranie lokalnych inicjatyw jako MŚP
- Pisanie dokumentacji
Wymagania:
- Co najmniej 3 lata doświadczenia zawodowego
- Doświadczenie w pracy z ekosystemem Hadoop (Spark, Hive, YARN) lub MS Azure (magazyn obiektów Blob, Databricks) lub alternatywami GCP/AWS
- Umiejętności komunikacyjne
- Min B2 w języku angielskim, w mowie i piśmie
- Dobra znajomość Pythona lub Scala
- Praktyczna znajomość kontroli wersji w GIT
- Doświadczenie w przetwarzaniu dużych ilości danych
- Znajomość skryptów Linux i Bash
- Uczciwa znajomość algorytmów i struktur danych
Oferujemy:
- Prywatna opieka medyczna
- Ubezpieczenie na życie
- Stałe wsparcie dedykowanego konsultanta
- Imprezy integracyjne organizowane przez DCG
- Konkurencyjne wynagrodzenie adekwatne do doświadczenia i umiejętności