Senior Data Engineer

Clurgo to firma stworzona przez developerów dla developerów. Nasze zespoły łączą pełne spektrum kompetencji - od rozwoju oprogramowania i infrastruktury, przez analizę oraz testy, aż po strategiczne zarządzanie produktem i procesami. Realizujemy różnorodne projekty IT dla klientów z wielu branż, dbając o dobre praktyki programistyczne i zachowanie work-life balance. Tworzymy rozwiązania, które mają znaczenie - dla firm w Polsce i na całym świecie.

✅Dołącz do projektu dla międzynarodowego klienta z branży mediów i nadawców. Projekt polega na rozwoju i utrzymaniu nowoczesnych platform analitycznych w zaawansowanym środowisku chmurowym. Skupia się głównie na przetwarzaniu danych na dużą skalę, budowie oraz optymalizacji potoków danych (ETL/ELT), a także dbaniu o ich najwyższą jakość (Data Quality).

✅Technologie i narzędzia: AWS CDK, AWS Lambda, Databricks, Google Cloud Platform, Google App Engine, BigQuery, Dataproc, Airflow, Terraform, PySpark, SQL, GitHub Actions, Jenkins

Szukamy Ciebie, jeśli:

👉 posiadasz bardzo dobrą wiedzę z zakresu inżynierii danych (Data Engineering)

👉 masz bardzo dobrą znajomość PySpark oraz SQL

👉 posiadasz doświadczenie w pracy z następującymi technologiami: AWS CDK, AWS Lambda, Databricks, Google Cloud Platform (GCP), Google App Engine, BigQuery, Dataproc, Airflow, Terraform

👉 masz doświadczenie w obszarach Data Quality, testowania jednostkowego (Unit Testing) oraz testowania integracyjnego (Integration Testing)

👉 znasz narzędzia CI/CD takie jak GitHub Actions i Jenkins

👉 posługujesz się językiem angielskim na poziomie minimum B2+ (do codziennej komunikacji w projekcie)

Zadania:

• projektowanie, rozwijanie i utrzymywanie rozwiązań z zakresu inżynierii danych w środowiskach chmurowych

• budowa i optymalizacja procesów przetwarzania danych

• praca z dużymi zbiorami danych ze szczególnym uwzględnieniem zapewnienia ich jakości

• wdrażanie i utrzymywanie rozwiązań opartych na technologiach PySpark i SQL

• tworzenie oraz utrzymywanie testów jednostkowych i integracyjnych

• automatyzacja procesów wdrażania oprogramowania

Czego możesz się spodziewać:

• współpracy w oparciu o kontrakt B2B

• pracy zdalnej

• 🏃‍♀️benefitów: opieka medyczna, karta multisport, lekcje języka angielskiego

• 🎉integracji - lubimy spędzać razem czas

• profesjonalnego procesu rekrutacyjnego – zawsze otrzymasz od nas feedback niezależnie od decyzji

Poznaj nas lepiej👉 https://www.facebook.com/clurgo/