Data Engineer
Data
Data Engineer
Kraków
Type of work
Undetermined
Experience
Mid
Employment Type
B2B
Operating mode
Remote
Tech stack
Python
Apache Spark
Amazon Redshift
Amazon S3
Airflow
IaC
AWS Lake Formation
Machine Learning
Job description
Online interview
Do rozwijającego się działu Data Science w Unity Group szukamy Data Engineer- inżyniera danych , który będzie odpowiedzialny za wsparcia w obszarze składowania i przetwarzania danych, automatyzacji procesów związanych z pozyskiwaniem danych, pracą z analitykami danych i data scientist oraz pracą z klientem zewnętrznym.
Uwaga! Twoim zadaniem będzie automatyzacja procesów związanych z danymi, a nie sama analiza danych - to rola data scientistów, a nie data engineerów.
Od Ciebie oczekujemy komercyjnego doświadczenia zarówno w samym data engineeringu jak i w Amazon Web Services, ponieważ wszystkie projekty są oparte o powyższą platformę chmurową. Jak znasz inne rozwiązania chmurowe jak Azure czy Google to jeszcze lepiej.
Jako Data Engineer, będziesz:
- Projektował rozwiązania dotyczące danych – konsulting z klientami to codzienność, również w języku angielskim (oczekujemy poziomu minimum B2+)
- Asystował przy projektowaniu i wdrażaniu platform danych
- Wdrażał różnego rodzaje hurtownie danych oraz data lake
- Modelował dane dla odbiorców z zespołu jak i poza niego
- Implementował procesy ETL oraz ELT
- Automatyzował i orkiestrował codzienne zadania dotyczące danych oraz procesów Machine Learning
- Wspierał innych członków zespołu
- Aktywnie uczestniczył w spotkaniach zespołowych oraz z klientem
Tematy i technologie, którymi się zajmujemy- nie musisz ich wszystkich znać, grunt żebyś wiedział czemu są na tej liście:
- Języki programowania (Python, Kotlin, Scala)
- Orkiestracja danymi (Airflow, Luigi – bądź inne)
- Procesy ETL (Spark, Talend – bądź inne)
- Hurtownie danych, bazy danych relacyjne i nie relacyjne
- Date Lake
- Dane strumieniowe (Kafka – bądź inne)
- Platformy do AI I Machine Learning (AutoML, Sagemaker, Azure Notebooks)
- Kontenery (Docker, AWS ECS, Kubernetes, Azure Kubernetes Services)
- Infrastructure as Code
- Doświadczenie pracy z Business Intelligence (PowerBI)
- Inne narzędzia około chmurowe (zarządzanie systemami indentyfikacjami użytkowników itp.)
Check similar offers
