Data Engineer

Charakterystyka oferty:

• Miejsce pracy: 1x w tygodniu praca z biura w Warszawie

• Start: ASAP

• Godziny pracy: Standardowe godziny pracy

• Branża: bankowa

• Wynagrodzenie: 120 - 137 zł netto/h + VAT (bez płatnych urlopów)

• Proces rekrutacyjny: Krótka rozmowa telefoniczna z ITFS ➡ Rozmowa techniczna ➡ Rozmowa projektowa ➡ Decyzja

Twoje zadania:

• Projektowanie i rozwój procesów integracji danych w środowisku GCP i on-premise.

• Budowa oraz utrzymanie procesów ETL/ELT.

• Projektowanie, optymalizacja i tuning baz danych.

• Rozwój rozwiązań streamingowych i kolejkowych.

• Tworzenie i utrzymanie workflowów oraz harmonogramów przetwarzania danych.

• Wystawianie i rozwój usług REST API.

• Tworzenie narzędzi wspierających wydajne ładowanie danych w Pythonie

• Monitorowanie i optymalizacja wydajności procesów danych.

Wymagania:

• Min. 5 lat doświadczenia jako Data Engineer w środowisku GCP.

• Bardzo dobra znajomość BigQuery, Bigtable, Scylla Cloud oraz relacyjnych baz danych (Oracle, PostgreSQL, ScyllaDB).

• Doświadczenie w projektowaniu, optymalizacji i tuningu baz danych.

• Dobra znajomość Apache Airflow, Dataflow, Dataproc oraz narzędzi ETL on-premise (Informatica PowerCenter, Apache NiFi).

• Doświadczenie w pracy z Kafka i Google Pub/Sub.

• Bardzo dobra znajomość Python i PySpark

• Umiejętność projektowania i wystawiania REST API.

• Znajomość AutomateNow firmy Infinity Data.

• Doświadczenie w budowie wysokowydajnych rozwiązań przetwarzania danych.