AI QA Engineer

Opis projektu

Nasz Klient to państwowa jednostka o znaczeniu strategicznym, odpowiedzialna za utrzymanie i rozwój kluczowej infrastruktury w sektorze lotnictwa cywilnego. Instytucja ta pełni nadrzędną rolę w zapewnianiu ciągłości i bezpieczeństwa operacji transportowych na skalę krajową, działając w oparciu o rygorystyczne normy publiczne oraz międzynarodowe standardy regulacyjne.

Zadania:

• Opracowanie strategii testów dla systemów z komponentami AI/ML (funkcjonalne, integracyjne, niefunkcjonalne, bezpieczeństwo).

• Definiowanie przypadków testowych dla funkcji opartych o ML, w tym zestawów danych testowych i „golden datasets”.

• Testy danych i potoków: walidacje jakości danych, spójność, kompletność, schematy, reguły biznesowe.

• Automatyzacja testów (API/UI/integrowane) i włączanie ich do CI/CD; utrzymanie frameworków testowych.

• Testy modeli: porównania metryk, regresje jakości, testy stabilności i odporności na skrajne/nieoczekiwane dane.

• Testy wydajności inferencji: opóźnienie, przepustowość, wykorzystanie zasobów, stabilność pod obciążeniem.

• Współpraca z Product Ownerem i zespołami przy definiowaniu kryteriów akceptacji, scenariuszy SAT/UAT

• Planowanie pracy w Scrum, prowadzenie lub udział w przeglądach defektów i triage.

• Weryfikacja postępów: raporty pokrycia, trendy defektów, status automatyzacji, wskaźniki jakości releasu.

• Testy odporności i jakości danych treningowych oraz mechanizmów retraningu.

• Walidacja mechanizmów monitoringu modeli (alerty, progi, drift), scenariusze awaryjne i rollback.

• Testy integracji MLOps: rejestr modeli, polityki wersjonowania, zgodność pipeline’ów z wymaganiami.

• Utrzymanie dokumentacji QA: strategie, plany testów, raporty wykonania, ewidencje.

• Koordynacja z zespołami Dev/DE/ML w celu szybkiej replikacji błędów i wprowadzenia poprawek.

• Optymalizacja pracy zespołu QA i skracanie cykli regresji poprzez usprawnienia narzędziowe i procesowe.

Wymagania:

• Wykształcenie wyższe: informatyka, inżynieria oprogramowania, automatyka, matematyka lub pokrewne.

• Doświadczenie w QA systemów IT, w tym w automatyzacji testów oraz testach integracyjnych i systemowych.

• Praktyka w testowaniu komponentów ML: przygotowanie danych testowych, walidacja metryk, regresje jakości modeli.

• Umiejętność budowy i utrzymania frameworków automatyzacji (np. testy API/UI), integracja z CI/CD.

• Doświadczenie w raportowaniu i śledzeniu defektów, metrykach jakości i pracy z dashboardami QA.

• Znajomość testów wydajnościowych i narzędzi do obciążeniowych testów inferencji.

• Umiejętność dokumentowania strategii i planów testów, pracy w zespołach wielofunkcyjnych.

• Biegłe posługiwanie się językiem polskim.

Co oferujemy?

• Pracę zdalną z możliwością przyjazdów co jakiś czas do biura w Warszawie.

• Pracę na naszym sprzęcie.

• Płaską strukturę zarządzania.

• Samoorganizujące się zespoły.

• Dużo przestrzeni na własną inicjatywę.

• Możliwość delegacji na terenie Unii Europejskiej lub Wielkiej Brytanii.