Data Engineer

Jako Get IT Together specjalizujemy się w dostarczaniu wysoko wykwalifikowanych Ekspertów IT, w obszarach zarządzania projektami, architektury, analizy biznesowej i systemowej czy rozwoju oprogramowania.

Dla naszego klienta poszukujemy doświadczonych Data Engineerów do projektu rozwoju systemów Autonomous Vehicles. Projekt koncentruje się na przetwarzaniu i analizie danych symulacyjnych oraz rzeczywistych danych sensorycznych wykorzystywanych do budowy i walidacji funkcji pojazdów autonomicznych.

Zespół odpowiada za kompletne pipeline’y danych – od surowych danych z czujników, po zestawy gotowe do symulacji i dalszych prac analitycznych.

Co zyskasz pracując z nami:

• Formę współpracy w oparciu o kontrakt b2b z Get IT Together

• Pracę zdalną

• Kontrakt fulltime

• Niezbędne narzędzia pracy

• Pracę w międzynarodowym środowisku przy innowacyjnym projekcie, w którym generowane jest nawet do 1 TB danych na godzinę

Za co będziesz odpowiedzialny/a:

• Analiza dużych wolumenów danych sensorycznych z rzeczywistych przejazdów pojazdów autonomicznych

• Tworzenie zaawansowanych zapytań i transformacji danych w oparciu o SQL, Python oraz Spark / PySpark

• Filtrowanie, agregacja oraz przetwarzanie danych szeregów czasowych

• Praca z wewnętrznymi narzędziami (aplikacje webowe, usługi backendowe) wspierającymi wyszukiwanie danych oraz procesy automatycznego etykietowania

• Przetwarzanie danych ustrukturyzowanych oraz półustrukturyzowanych

• Identyfikowanie danych, które będą wykorzystywane w procesach symulacji oraz w pipeline’ach uczenia modeli

• Proponowanie oraz weryfikacja nowych podejść analitycznych usprawniających proces odkrywania i selekcji danych

• Projektowanie, implementacja oraz utrzymanie skryptów do zaawansowanego data miningu

• Budowa i rozwój procesów ETL dla bardzo dużych zbiorów danych

• Rozwijanie narzędzi analitycznych i data-miningowych usprawniających codzienną pracę zespołu

Jakie kompetencje są niezbędne:

• Minimum 4 lata komercyjnego doświadczenia zawodowego na podobnym stanowisku

• Bardzo dobra znajomość SQL

• Bardzo dobra znajomość języka Python

• Bardzo dobra znajomość Spark / PySpark

Jakie kompetencje są mile widziane:

• Praktyczne doświadczenie w pracy z Databricks

• Znajomość procesów związanych z przygotowaniem danych do uczenia modeli

• Wykształcenie wyższe na kierunku informatycznym lub pokrewnym