Data Engineer (Mid/Senior)

Data

Warszawa, Warszawa

ManpowerGroup

Undetermined

B2B

Senior

Remote

8 390 - 10 255 USD

Net per month - B2B

Tech stack

Apache Beam

advanced

SQL

advanced

Apache Airflow

advanced

Spark

advanced

NIFI

advanced

Hive

regular

Snowflake

regular

Cassandra

regular

ETL

regular

Azure

regular

Job description

Opis projektu:

Optymalizacja pracy oprogramowania do analizy danych pochodzących z branży gas&oil, jego integracji ze środowiskiem chmur publicznych (Google Cloud i Azure). Do wykonania jest szereg prac polegających na analizie dużych wolumenów danych (+kilkadziesiąt TB na jeden “przypadek symulacji” a docelowo setki petabajtów). Ponadto projekt musi przewidywać korelację danych z czujników (IoT) z danymi symulacyjnymi, algorytmami predykcji oraz danymi finansowymi tak, aby pozwolić na zarówno wysokopoziomowe wyciąganie wniosków biznesowych jak i eksplorację danych na niskim poziomie abstrakcji. Po etapie studium wykonalności przejście do fazy zbudowania i wdrożenia produkcyjnego rozwiązania.

Poszukujemy:

1. Senior Data Engineer

Minimum 6 lat doświadczenia jako Data Engineer
Biegła znajomość relacyjnych i nierelacyjnych baz danych, biegła znajomość SQL, bardzo dobra znajomość narzędzi do budowy data pipeline'ów (Apache Beam, Apache Airflow, Spark, NiFi), bardzo dobra znajomość zagadnień związanych z hurtowniami danych (Hive, Snowflake) i ich odpowiedników w Azure i Google Cloud
Zaawansowana znajomość baz danych wspierających gromadzenie danych sensorycznych (HBase, ClickHouse, InfluxDB, Cassandra) lub ich odpowiedników w Azure i Google Cloud
Projektowanie i wdrażanie procesów ETL

2. Data Engineer

Minimum 3 lata doświadczenia jako Data Engineer, w tym 2 lata doświadczenia z Azure
Dobra znajomość relacyjnych i nierelacyjnych baz danych, biegła znajomość SQL, dobra znajomość narzędzi do budowy data pipeline'ów (Apache Beam, Apache Airflow, Spark, NiFi), dobra znajomość zagadnień związanych z hurtowniami danych (Hive, Snowflake) i ich odpowiedników w Azure
Przynajmniej średnio zaawansowana znajomość baz danych wspierających gromadzenie danych sensorycznych (HBase, ClickHouse, InfluxDB, Cassandra) lub ich odpowiedników w Azure
Projektowanie i wdrażanie procesów ETL

Oferujemy: