Data Engineer (Mid/Senior)
Data
Data Engineer (Mid/Senior)
Warszawa
Type of work
Undetermined
Experience
Senior
Employment Type
B2B
Operating mode
Remote
Tech stack
Apache Beam
SQL
Apache Airflow
Spark
NIFI
Hive
Snowflake
Cassandra
ETL
Azure
Job description
Online interview
Opis projektu:
Optymalizacja pracy oprogramowania do analizy danych pochodzących z branży gas&oil, jego integracji ze środowiskiem chmur publicznych (Google Cloud i Azure). Do wykonania jest szereg prac polegających na analizie dużych wolumenów danych (+kilkadziesiąt TB na jeden “przypadek symulacji” a docelowo setki petabajtów). Ponadto projekt musi przewidywać korelację danych z czujników (IoT) z danymi symulacyjnymi, algorytmami predykcji oraz danymi finansowymi tak, aby pozwolić na zarówno wysokopoziomowe wyciąganie wniosków biznesowych jak i eksplorację danych na niskim poziomie abstrakcji. Po etapie studium wykonalności przejście do fazy zbudowania i wdrożenia produkcyjnego rozwiązania.
Poszukujemy:
1. Senior Data Engineer
Optymalizacja pracy oprogramowania do analizy danych pochodzących z branży gas&oil, jego integracji ze środowiskiem chmur publicznych (Google Cloud i Azure). Do wykonania jest szereg prac polegających na analizie dużych wolumenów danych (+kilkadziesiąt TB na jeden “przypadek symulacji” a docelowo setki petabajtów). Ponadto projekt musi przewidywać korelację danych z czujników (IoT) z danymi symulacyjnymi, algorytmami predykcji oraz danymi finansowymi tak, aby pozwolić na zarówno wysokopoziomowe wyciąganie wniosków biznesowych jak i eksplorację danych na niskim poziomie abstrakcji. Po etapie studium wykonalności przejście do fazy zbudowania i wdrożenia produkcyjnego rozwiązania.
Poszukujemy:
1. Senior Data Engineer
- Minimum 6 lat doświadczenia jako Data Engineer
- Biegła znajomość relacyjnych i nierelacyjnych baz danych, biegła znajomość SQL, bardzo dobra znajomość narzędzi do budowy data pipeline'ów (Apache Beam, Apache Airflow, Spark, NiFi), bardzo dobra znajomość zagadnień związanych z hurtowniami danych (Hive, Snowflake) i ich odpowiedników w Azure i Google Cloud
- Zaawansowana znajomość baz danych wspierających gromadzenie danych sensorycznych (HBase, ClickHouse, InfluxDB, Cassandra) lub ich odpowiedników w Azure i Google Cloud
- Projektowanie i wdrażanie procesów ETL
2. Data Engineer
- Minimum 3 lata doświadczenia jako Data Engineer, w tym 2 lata doświadczenia z Azure
- Dobra znajomość relacyjnych i nierelacyjnych baz danych, biegła znajomość SQL, dobra znajomość narzędzi do budowy data pipeline'ów (Apache Beam, Apache Airflow, Spark, NiFi), dobra znajomość zagadnień związanych z hurtowniami danych (Hive, Snowflake) i ich odpowiedników w Azure
- Przynajmniej średnio zaawansowana znajomość baz danych wspierających gromadzenie danych sensorycznych (HBase, ClickHouse, InfluxDB, Cassandra) lub ich odpowiedników w Azure
- Projektowanie i wdrażanie procesów ETL
Oferujemy:
- Kontrakt b2b via Experis
- Nowoczesny sprzęt do pracy (MacBook Pro lub inny sprzęt wedle uznania)
- Prywatna opieka medyczna Medicover
- Karta Multisport
- Bezpłatna platforma szkoleniowa
Check similar offers
