Data Engineer

ConnectPoint specjalizuje się w integracji IoT i IT/OT. Łączymy wiedzę branżową z integracją systemów, tworzeniem oprogramowania, przetwarzaniem danych, Bussiness Intelligence i kompetencjami w zakresie uczenia maszynowego. Naszymi klientami są zarówno największe międzynarodowe koncerny, jak i lokalni dostawcy energii, wody i ciepła.

Jakie będą Twoje zadania? 

• Projektowanie, implementacja i utrzymanie platform danych we współpracy z zespołem DevOps  

• Projektowanie, implementacja i utrzymanie procesów zasilania i przetwarzania danych  

• Przygotowanie danych do raportów, a także do zasilania innych procesów  

• Tworzenie, zarządzanie i optymalizacja modeli danych  

• Codzienne wsparcie dla naszych klientów z obszaru Energy, Utilities i Manufacturing  

  
  

Jakie są nasze oczekiwania? 

• Masz co najmniej 3 lata doświadczenia jako Data Engineer 

• Posiadasz bardzo dobrą znajomość Python i SQL 

• Znasz relacyjne bazy danych, rozwiązania hurtowni danych, platformy data lake oraz data lakehouse 

• Korzystasz z co najmniej jednej technologii z obszarów takich jak:  

  • Platformy danych: BigQuery, Databricks, Snowflake, MS Fabric, Synapse, w tym zbudowane na open-source (np. Hive, Trino, Apache Spark) 

  • Chmury publiczne: Google Cloud, Azure oraz prywatne 

  • Narzędzia ETL/ELT: Apache Airflow, NiFi, Azure Data Factory, Google Dataflow, Dataproc,  

  • Storage: S3, MinIO, GCS, Azure Storage Account 

  • Formaty danych: Delta Lake, Iceberg 

  • Bazy danych: PostgreSQL, SQL Server, Oracle 

• Potrafisz współpracować z klientem i rozumiesz jego potrzeby biznesowe 

• Jesteś komunikatywny/a, odpowiedzialny/a i znasz angielski na poziomie umożliwiającym codzienną komunikację 

• Dodatkowo cenimy: 

• Znajomość baz szeregów czasowych (np. TimescaleDB) 

• Doświadczenie z danymi strumieniowymi (Kafka, pub/sub, Azure Event Hubs) 

• Znajomość narzędzi do transformacji danych np. dbt