Big Data Developer
Data
Big Data Developer
Warszawa
Type of work
Undetermined
Experience
Mid
Employment Type
Permanent
Operating mode
Office
Tech stack
Python
PySpark
Docker
Linux
GitLab
Jenkins
Hadoop
Google Cloud
Kubernetes
Kafka
Job description
Online interview
Twój charakter:
- Rozwój i utrzymanie bankowego Data Lake przetwarzającego codziennie ogromne ilości danych z wielu źródeł;
- Tworzenie architektury rozwiązania;
- Tworzenie nowych modułów;
- Tworzenie dokumentacji technicznej;
- Utrzymywanie tworzonego rozwiązania.
Charakter Twojej pracy:
- 3 lata w pracy w obszarach związanych z przetwarzaniem danych ETL, z użyciem rozwiązań Open-Source;
- Programowanie w językach Python i dodatkowo Java lub Scala;
- Znajomość:
- Technologii Big Data, w szczególności: Spark, HDFS,
- Narzędzi CI/CD (Gitlab, Jenkins),
- SQL i relacyjnych bazy danych,
- Baz NoSQL, SOLR,
- Docker, Kubernetes,
- Systemu Linux,
- Doświadczenie:
- w implementacji rozwiązań zapewniających wysoką jakość i szybkość przetwarzania danych
- tworzeniu krytycznych procesów zasileń i zapytań na platformie Hadoop;
- Chęć uczenia się i ciągłego podnoszenia kwalifikacji w zakresie nowoczesnej architektury Big Data;
- Kreatywność i jasna komunikacja podczas rozwiązywania skomplikowanych technologicznie problemów;
- Gotowość do utrzymania tworzonego systemu, w tym dyżurów telefonicznych i pracy - w wypadku awarii - poza standardowymi godzinami biurowymi.
- Mile widziana znajomość:
- Co najmniej jednego narzędzia ETL;
- Apache Airflow;
- Kafka
- Budowy rozwiązań Data na platformach Cloud: GCP, Azure.
Masz jak w banku:
- zatrudnienie w oparciu o umowę o pracę;
- pracę w modelu hybrydowym;
- możliwość rozwoju kompetencji dzięki pracy w zwinnych zespołach skupiających ekspertów obszarów Big Data, Hurtowni Danych, Data Science oraz biznesowych
- elastyczne godziny pracy;
- samodzielne stanowisko pracy pełne wyzwań i ciekawych projektów;
- dostarczanie rozwiązań w zespołach SCRUM w metodyce AGILE;
- atmosferę dzielenia się wiedzą;
- realny wpływ na strategię i wyniki realizowanych projektów.
Check similar offers
