Do rozwijającego się działu Data Science w Unity Group szukamy Data Engineer- inżyniera danych , który będzie odpowiedzialny za wsparcia w obszarze składowania i przetwarzania danych, automatyzacji procesów związanych z pozyskiwaniem danych, pracą z analitykami danych i data scientist oraz pracą z klientem zewnętrznym.
Uwaga! Twoim zadaniem będzie automatyzacja procesów związanych z danymi, a nie sama analiza danych - to rola data scientistów, a nie data engineerów.
Od Ciebie oczekujemy komercyjnego doświadczenia zarówno w samym data engineeringu jak i w Amazon Web Services, ponieważ wszystkie projekty są oparte o powyższą platformę chmurową. Jak znasz inne rozwiązania chmurowe jak Azure czy Google to jeszcze lepiej.
Jako Data Engineer, będziesz:
- Projektował rozwiązania dotyczące danych – konsulting z klientami to codzienność, również w języku angielskim (oczekujemy poziomu minimum B2+)
- Asystował przy projektowaniu i wdrażaniu platform danych
- Wdrażał różnego rodzaje hurtownie danych oraz data lake
- Modelował dane dla odbiorców z zespołu jak i poza niego
- Implementował procesy ETL oraz ELT
- Automatyzował i orkiestrował codzienne zadania dotyczące danych oraz procesów Machine Learning
- Wspierał innych członków zespołu
- Aktywnie uczestniczył w spotkaniach zespołowych oraz z klientem
Tematy i technologie, którymi się zajmujemy- nie musisz ich wszystkich znać, grunt żebyś wiedział czemu są na tej liście:
- Języki programowania (Python, Kotlin, Scala)
- Orkiestracja danymi (Airflow, Luigi – bądź inne)
- Procesy ETL (Spark, Talend – bądź inne)
- Hurtownie danych, bazy danych relacyjne i nie relacyjne
- Date Lake
- Dane strumieniowe (Kafka – bądź inne)
- Platformy do AI I Machine Learning (AutoML, Sagemaker, Azure Notebooks)
- Kontenery (Docker, AWS ECS, Kubernetes, Azure Kubernetes Services)
- Infrastructure as Code
- Doświadczenie pracy z Business Intelligence (PowerBI)
- Inne narzędzia około chmurowe (zarządzanie systemami indentyfikacjami użytkowników itp.)