Data Engineer
Data
Data Engineer
Kraków
Type of work
Undetermined
Experience
Mid
Employment Type
B2B
Operating mode
Remote
Tech stack
Python
Apache Spark
Amazon Redshift
Amazon S3
Airflow
IaC
AWS Lake Formation
Machine Learning
Job description
Online interview
W ramach współpracy B2B oferujemy stawkę godzinową: 90 - 125 zł netto + VAT.
Jesteśmy elastyczni w doborze formy współpracy :)!
Do rozwijającego się działu Data Science w Unity Group szukamy Data Engineer – potrzebujemy wsparcia w obszarze składowania i przetwarzania danych oraz automatyzacji procesów z tym związanych.
Jesteśmy elastyczni w doborze formy współpracy :)!
Do rozwijającego się działu Data Science w Unity Group szukamy Data Engineer – potrzebujemy wsparcia w obszarze składowania i przetwarzania danych oraz automatyzacji procesów z tym związanych.
Od Ciebie oczekujemy komercyjnego doświadczenia zarówno w samym data engineeringu jak i w AWS – wszystkie projekty wdrażamy z wykorzystaniem chmury Amazona.
Uwaga! Twoim zadaniem będzie automatyzacja procesów związanych z danymi, a nie sama analiza danych – to rola data scientistów, a nie data engineerów.
Jako Data Engineer będziesz:
- Projektował rozwiązania dotyczące danych – konsulting z klientami to codzienność, również w języku angielskim (oczekujemy poziomu minimum B2+)
- Wdrażał data lake, hurtownie danych oraz konwencjonalne bazy danych
- Implementował procesy ETL
- Automatyzował i orkiestrował codzienne zadania dotyczące danych i machine learningu
- Wspierał innych członków zespołu, szczególnie data scientistów
- Aktywnie uczestniczył w spotkaniach scrumowych
Tematy i technologie, którymi się zajmujemy- nie musisz ich wszystkich znać, grunt żebyś wiedział czemu są na tej liście:
- Języki programowania (Python, Kotlin, Scala)
- Orkiestracja danymi (Airflow, Luigi, Argo, Prefect, AWS Step Functions)
- Procesy ETL (Spark, AWS Glue, Beam, GCP Dataflow)
- Query Engines (Amazon Athena, Presto, Impala)
- Hurtownie danych (Amazon Redshift, Snowflake)
- Date Lake (Amazon S3, AWS Lake Formation, Hadoop)
- Dane strumieniowe (Amazon Kinesis, Kafka, Flink)
- Bazy NoSQL (Amazon DynamoDB, HBase, Google BigQuery, Cassandra, MongoDB, Druid)
- Bazy SQL (PostgreSQL, MariaDB, MySQL, Oracle)
- Machine Learning (Spark MLlib, H2O.ai, scikit-learn, Amazon SageMaker, Amazon Forecast, Amazon Personalize)
- „Platformy danych/ML” (Databricks, Cloudera, EMR, HDInsight, MLflow)
- Kontenery (Docker, AWS ECS, Kubernetes)
- Infrastructure as Code (Terraform, AWS CloudFormation, AWS CDK)
- Inne narzędzia AWS (API Gateway, Lambda, Cognito, IAM)
- Formaty danych (Avro, Parquet, Protobuf, ORC, CSV, JSON)
Check similar offers
