Data Engineer
Data
Data Engineer
Pearson IOKI
Poznań
Type of work
Undetermined
Experience
Mid
Employment Type
Permanent
Operating mode
Office
Pearson IOKI
At Pearson, we create learning experiences designed for real-life impact. We build learning platforms, digital content and inventive solutions to support students all around the world. We are one of the 10 most innovative education companies of 2022.
Tech stack
SQL
Python
Git
Linux
AWS
Spark
Hadoop
Job description
W ogromnym skrócie będziesz:
- częścią zespołu Advanced Computing and Data Science Lab (lub, po prostu Labu). Dzięki naszej pracy inne zespoły tworzą lepsze, bardziej inteligentne platformy e-learningowe, z których korzystają miliony użytkowników na całym świecie. Potrzebujemy Ciebie, aby produkty Pearsona mogły wywierać jeszcze większy pozytywny wpływ na życie uczniów.
W szczególności będziesz:
- projektować i implementować procesy ETL-owe w usługach chmurowych (w szczególności AWS)
- przenosić stare procesy w chmurę w celu zmniejszenia długu technologicznego
- utrzymywać istniejące procesy ETL-owe
- integrować dane pochodzące z wielu źródeł
- brać udział w realizacji długofalowej strategii cyfrowej transformacji Pearsona
Oczekujemy, że:
- dobrze znasz Pythona i najpopularniejsze biblioteki, np. virtualenv, pip, argparse, logging, datetime, imp, psycopg2, mysql-connector, pymongo, boto3, pandas, numpy, Anaconda
- znasz i stosujesz dobre praktyki wytwarzania oprogramowania
- kod Twojego autorstwa jest czytelny i wydajny
- ogarniasz SQL i relacyjne bazach danych, a także Gita i Linuxa
- otarłeś/aś się w praktyce z technologiami Big Data, takimi jak Spark, AWS lub Google Cloud Platform
- znasz przynajmniej podstawy architektury usług AWS
- posiadasz wiedzę z zakresu modelowania danych
Zaplusujesz:
- dobrą znajomością usług AWS: S3, EC2, EMR, Athena, Lambda, SNS, Glue
- znajomością NoSQL-owych baz danych
- doświadczeniem w pracy z TensorFlow i podobnymi technologiami, e.g. PyTorch
- doświadczeniem w korzystaniu z Jupiter/Zeppelin Notebook
- doświadczeniem w pracy w międzynarodowym środowisku
Poza wynagrodzeniem oferujemy:
- elastyczny czas pracy
- prywatną opiekę medyczną oraz ubezpieczenie NNW dla Ciebie i Twojej rodziny
- udział w polskich i zagranicznych konferencjach oraz specjalistycznych szkoleniach
- nielimitowany dostępu do rich source of knowledge (dostępy do m.in.: lynda.com, online SafariBooks, biblioteczki firmowej)
- doskonalenie języka angielskiego w codziennej pracy i zapewnianym przez nas kursie
- pracę w międzynarodowym zespole w przestronnym biurze z widokiem na panoramę Poznania
- dostęp do platformy My Benefit (a w niej możliwość wyboru: karty MultiSport, zakupu biletów do kina, teatru, kart podarunkowych do szeregu sklepów, itp.)
- płatny urlop na rzecz wolontariatu
- możliwość udziału w spotkaniach branżowych jako prelegent i budowy Twojej marki osobistej przez publikacje na naszym blogu
- możliwość skorzystania z opcji na akcje Pearson
- owoce, soki, musli i inne smakołyki dostępne w naszych kuchniach
- wolne chwile przy piłkarzykach i xbox-ie w naszym Chillout Roomie