Data Engineer

W Scalo zajmujemy się dostarczaniem projektów software'owych i wspieraniem naszych partnerów w rozwijaniu ich biznesu. Tworzymy oprogramowanie, które umożliwia ludziom dokonywanie zmian, działanie w szybszym tempie oraz osiąganie lepszych rezultatów. Jesteśmy firmą, która wykorzystuje szerokie spektrum usług IT, żeby pomagać klientom.

Obszary naszego działania to m.in.: doradztwo technologiczne, tworzenie oprogramowania, systemy wbudowane, rozwiązania chmurowe, zarządzanie danymi, dedykowane zespoły developerskie.

Cześć! U nas znajdziesz to, czego szukasz - przekonaj się!

W Scalo czeka na Ciebie:

• uczestnictwo w projekcie z branży bankowej, obejmującym przetwarzanie dużych wolumenów danych (~100TB) oraz budowę rozwiązań do wysokowydajnej integracji i udostępniania danych. Wykorzystywany stos technologiczny w projekcie: GCP (BigQuery, DataFlow, DataProc), Kafka / PubSub, Python (PySpark), Airflow,

• projektowanie, budowa i tuning rozwiązań data engineeringowych w środowisku GCP,

• tworzenie i rozwój procesów integracji danych (ETL/ELT) w chmurze i środowisku on-prem,

• utrzymanie i rozwój pipeline’ów danych z wykorzystaniem Apache Airflow oraz DataFlow,

• optymalizacja wydajności przetwarzania i ładowania danych (BigQuery, BigTable, ScyllaDB),

• praca z systemami kolejkowymi (Kafka, Pub/Sub),

• tworzenie i utrzymywanie usług REST API,

• rozwój narzędzi wspierających przetwarzanie danych (Python, PySpark, Rust),

• zarządzanie harmonogramowaniem procesów (Automate Now),

• współpraca przy migracji i integracji rozwiązań on-prem z GCP,

• praca w modelu hybrydowym: 1 dzień w tygodniu w biurze w Warszawie,

• stawka do 165 zł/h przy B2B w zależności od doświadczenia.

Ta oferta jest dla Ciebie, jeśli:

• posiadasz min. 5-letnie doświadczenie jako Data Engineer w GCP w obszarze integracji danych,

• bardzo dobrze znasz GCP BigQuery, BigTable oraz Scylla Cloud (projektowanie, budowa, tuning),

• masz doświadczenie z Apache Airflow, GCP DataFlow oraz DataProc,

• pracowałeś z systemami kolejkowymi (Kafka, GCP Pub/Sub),

• posiadasz min. 4-letnie doświadczenie w ETL na środowiskach on-prem,

• bardzo dobrze znasz narzędzia ETL (Informatica PowerCenter, NiFi),

• posiadasz ekspercką wiedzę z zakresu baz danych (Oracle, PostgreSQL, ScyllaDB),

• masz doświadczenie z narzędziem Automate Now firmy Infinity Data,

• potrafisz tworzyć i wystawiać usługi REST API,

• posiadasz min. 3-letnie doświadczenie w Python (w tym PySpark),

• znasz język Rust w kontekście budowy wydajnych narzędzi,

• znasz Linux na poziomie zaawansowanym,

• masz doświadczenie w pracy z dużymi wolumenami danych,

• cechuje Cię analityczne myślenie, samodzielność i kreatywność,

• mile widziane: znajomość Java (microservices), Git, Grafana oraz Apache JMeter.

Co dla Ciebie mamy?

• Stabilną współpracę i różnorodne projekty (Software, Embedded, Data, Cloud Services), 

• możliwość rozwoju kompetencji jako Ambasador Scalo - doskonal skille techniczne i presalesowe w społeczności naszych ekspertów, wpływaj na rozwój organizacji, wspieraj innych,

• przestrzeń do budowania marki osobistej - twórz wartościowe treści, dziel się wiedzą i doświadczeniem, występuj jako prelegent na wydarzeniach (np. ProMeet),

• prywatną opiekę medyczną - Luxmed,

• kafeteryjny system benefitów - Motivizer, 

• dostęp do karty Multisport, 

• program poleceń pracowniczych z nagrodami,

• integracje i wydarzenia firmowe.