Regular Big Data Engineer (bankowość)

Branża: Bankowość

Lokalizacja: Hybryda z Warszawy (1 dzień na 2 tygodnie z biura w Warszawie)

Stawka: do 140 zł/h na b2b

Podsumowanie: Rola Programisty BigData polega na tworzeniu rozwiązań do przetwarzania dużych zbiorów danych, które mają na celu efektywne zarządzanie danymi w organizacji. Kluczowe umiejętności to programowanie w Spark oraz zaawansowana znajomość SQL i Big Data.

Zadania:

• Programowanie w Spark w języku Python (lub Scala) przy użyciu koncepcji Big Data.

• Praca z hurtowniami danych oraz zarządzenie danymi.

• Implementacja rozwiązań na platformie Hadoop Cloudera/Hortonworks.

• Wykorzystywanie dobrych praktyk inżynieryjnych w przetwarzaniu dużych danych, w tym projektowanie, modelowanie danych oraz testowanie i wdrażanie.

• Praca z różnymi formatami danych, takimi jak JSON, PARQUET, ORC, AVRO.

• Zrozumienie typów baz danych oraz scenariuszy użycia, jak hive, kudu, hbase, Iceberg.

• Stosowanie zaawansowanej znajomości SQL.

• Integracja danych z wielu źródeł danych.

• Użycie narzędzi do budowy projektów/aplikacji, takich jak Maven.

Wymagania:

• Min. 2 lata doświadczenia w programowaniu w Spark w Python (lub Scala).

• Znajomość koncepcji Big Data, hurtowni danych oraz zarządzania danymi.

• Znajomość platformy Hadoop Cloudera/Hortonworks lub podobnego narzędzia

• Dobre praktyki inżynieryjne i przetwarzanie dużych zbiorów danych.

• Doświadczenie z formatami danych: JSON, PARQUET, ORC, AVRO.

• Umiejętność pisania zapytań w SQL na poziomie zaawansowanym.

• Doświadczenie w integracji danych z różnych źródeł.

• Znajomość narzędzi do budowy projektów/aplikacji, jak Maven.

• Doświadczenie z technologiami i narzędziami strumieniowymi (Kafka, Apache Nifi).

Mile widziane:

• Praktyczna znajomość procesów i narzędzi Agile (Jira, Confluence, Kanban, Scrum).

• Znajomość platformy Kubeflow.

• Wiedza z zakresu automatyzacji CI/CD.