Sr Data Engineer (PySpark & AWS Glue)

From Poland With Dev

Warszawa

Type of work

Undetermined

Experience

Senior

Employment Type

B2B, Permanent

Operating mode

Remote

From Poland With Dev

100% naszych klientów pochodzi z polecenia, dzięki czemu starannie dobieramy projekty, w których pracujemy. Cenimy zdrowe relacje i work-life balance. Brak dystansu, otwartość, zaufanie i ludzkie podejście to filary naszej codziennej pracy.

Company profile

Tech stack

Python

regular

AWS Glue

regular

PySpark

regular

Snowflake

junior

PostgreSQL

junior

DevOps

nice to have

Golang

nice to have

Terraform

nice to have

Job description

Online interview

Friendly offer

Od dwóch lat budujemy całkowicie nową aplikację w ramach Intentsify - innowacyjnego startupu z Massachusetts, US (z branży agregacji i sprzedaży intent data w marketingu B2B). Nasz produkt rośnie szybko i ciągle powiększa zespół programistyczny.

Szukamy Data Engineer, którego głównym zadanie będzie przygotowywanie przetwarzania danych ETL.

Plusy naszego projektu to:

nowoczesny stack - m.in. Python (FastAPI & PySpark), GoLang (gRPC), NodeJS (Nest.js), Snowflake, Postgres
nowy podprojekt, budowany od zera
duży wpływ na decyzje - otwartość na propozycje, udoskonalenia, itd.
brak formalności: mało spotkań, dużo czasu przeznaczonego na pisanie kodu i wspólnego rozwoju w technologii w mocnym, 9-osobowym teamie (np. Mateusz, Tomek, Konrad, Maciej, Marco, Roman)
GitHub wraz z GitHub Actions.

Zadania:

wworzenie i utrzymanie rozwiązań przetwarzania danych ETL z wykorzystaniem PySpark i AWS Glue
projektowanie, rozwijanie i optymalizacja procesów ETL dla różnych źródeł danych
praca w zespole, wraz z analitykami danych i inżynierami, w celu zrozumienia wymagań biznesowych i zaprojektowania odpowiednich rozwiązań
implementacja mechanizmów monitorowania i utrzymania rozwiązań ETL
optymalizacja wydajności i skalowalności procesów ETL
diagnozowanie i rozwiązywanie problemów związanych z przetwarzaniem danych
wdrażanie najlepszych praktyk w dziedzinie przetwarzania danych i zapewnianie zgodności z wymogami bezpieczeństwa
współpraca z zespołem frontendowym
udział w spotkaniach popołudniowych (współpraca z Kalifornią)
dla chętnych - możliwość brania udziału w pracach nad innymi elementami infrastruktury opartych w głównej mierze o Event Driven Architecture, w technologiach takich jak Python (FastAPI), Golang oraz Node.js.

Wymagania:

5 lat doświadczenia w technologiach backendowych oraz ukończenie studiów technicznych
doświadczenie w pracy z technologią PySpark oraz AWS Glue, poparte poprzednio realizowanymi projektami
znajomość języka Python w kontekście przetwarzania danych
zrozumienie koncepcji ETL i umiejętność implementacji procesów ETL
dobra znajomość Postgres oraz Snowflake (bądź odpowiedników)
znajomość technologi służacych do konteneryzacji
samodzielność w rozwiązywaniu problemów technicznych, regularne proponowanie rozwiązań technicznych
znajomość j. angielskiego umożliwiająca międzynarodową współpracę.

Wymagania - mile widziane:

znajomość usług AWS takich jak: EventBridge, ECS, SQS, SNS, ElastiCache, Step Functions
znajomość Terraform.

Oferujemy:

nowy sprzęt do wyboru
płatny urlop przy B2B, MultiSport, becikowe, elastyczne godziny pracy, prywatna opieka medyczna, ubezpieczenie na życie, eventy sportowe
przyjazną atmosferę sprzyjającą rozwojowi (program szkoleń, system poleceń, angielski z native speakerem, budżet integracyjny, lunche zespołowe i prezenty świąteczne)
wysoką kulturę organizacyjną i używanie narzędzi ułatwiających pracę
stabilną i długofalową współpracę; B2B, UZ lub UoP
elastyczne godziny pracy
praca zdalnie lub z biura (w Krakowie lub Bielsku-Białej, możliwość coworkingu w innych miastach).

Spotkania rekrutacyjne:

20-30min z HR
60-90min interview techniczny I
60-90min interview techniczny II z opcjonalnym zad. rekrutacyjnym
30-60min z Head of Engineering.

O From Poland With Dev

Jesteśmy międzynarodowym zespołem ceniącym rozwijające projekty, relacje międzyludzkie i work-life balance. Pracujemy wyłącznie z klientami z polecenia - dzięki temu nie jesteśmy podwykonawcą i działamy jako bliski partner lub “team extension”, będąc regularnymi członkami zespołów. Cenimy pracę blisko biznesu, swobodę i możliwość wpływania na produkt. Minimalizujemy formalności, bo interesuje nas wydajna, merytoryczna praca i rozwój. Brak dystansu, otwartość, zaufanie i ludzkie podejście to filary naszej codziennej pracy.