AWS Data Engineer

Obowiązki:

• Projektowanie i implementacja procesów przetwarzania danych w chmurze AWS.
• Praca z kluczowymi usługami AWS, takimi jak S3, Redshift, Lambda, Glue, EMR, Kinesis, RDS.
• Tworzenie i zarządzanie przepływami ETL/ELT, w tym integracja różnych źródeł danych.
• Zapewnienie jakości danych oraz zarządzanie procesami modelowania, wersjonowania i zapewnienia jakości danych.
• Współpraca z zespołem w zakresie projektowania i optymalizacji architektury danych.
• Rozwój i implementacja narzędzi do analizy i przetwarzania dużych zbiorów danych (w tym wykorzystanie Apache Spark, Hadoop, Kafka).
• Współpraca przy optymalizacji zapytań SQL i zarządzaniu bazami danych.
• Wsparcie w tworzeniu i wdrażaniu rozwiązań do przetwarzania danych w czasie rzeczywistym.

Wymagania:

• Wykształcenie wyższe w dziedzinie informatyki, inżynierii danych, matematyki lub pokrewnej.
• Kilkuletnie doświadczenie zawodowe na stanowisku inżyniera danych lub pokrewnym.
• Certyfikat AWS z obszaru Data.
• Doświadczenie w pracy z usługami AWS, takimi jak S3, Redshift, Lambda, Glue, EMR, Kinesis, RDS.
• Biegłość w języku Python oraz doświadczenie w pracy z bazami danych i SQL.
• Znajomość narzędzi do przetwarzania danych, takich jak Apache Spark, Hadoop, Kafka.
• Doświadczenie w projektowaniu i implementacji procesów ETL/ELT.
• Znajomość najlepszych praktyk w zakresie zarządzania danymi, w tym modelowania, wersjonowania i zarządzania jakością danych.