QA & Performance Testing Engineering Lead (Automation)

QA & Performance Testing Engineering Lead (Automation)

Praca zdalna

Zadania

• Projektowanie i wdrażanie architektury QA obejmującej testy: funkcjonalne, regresyjne, niefunkcjonalne, wydajnościowe oraz AI/LLM

• Definiowanie spójnej taksonomii testów (unit / integration / E2E / workflowy agentowe)

• Budowa i utrzymanie standaryzowanego, zautomatyzowanego frameworka testowego

• Integracja testów funkcjonalnych, regresyjnych, smoke i performance z CI/CD

• Projektowanie modeli obciążeniowych oraz automatycznych testów: peak, stress, resiliency, chaos

• Tworzenie i walidacja zestawów do ewaluacji modeli AI/LLM: halucynacje, grounding, spójność, poprawność, toksyczność

• Testowanie wieloetapowych workflowów agentów AI: poprawność łańcucha kroków, wywołań narzędzi i scenariuszy recovery

• Implementacja quality gates w pipeline’ach release’owych

• Budowa dashboardów jakości (pass rate, latency, error rate, metryki AI)

 Wymagania

• Minimum 10 lat doświadczenia w QA i testach wydajnościowych systemów enterprise

• Doświadczenie w prowadzeniu QA w dużych organizacjach (Fortune 500 lub podobne)

• Znajomość architektury QA (functional, regression, non-functional, performance)

• Doświadczenie w automatyzacji testów i testach API (pytest, Postman)

• Praca z CI/CD: Azure DevOps, GitHub Actions

• Doświadczenie w testach load, stress, resiliency i chaos testing

• Znajomość metryk ewaluacji ML/LLM (BLEU, ROUGE, perplexity, hallucination, grounding)

• Doświadczenie z danymi syntetycznymi i wersjonowaniem datasetów

• Znajomość model registry, release gates i pipeline’ów promocji modeli

• Świadomość data lineage i governance (Purview, Unity Catalog)

• Doświadczenie w testowaniu workflowów agentów AI

• Doświadczenie w środowiskach regulowanych (audyt, traceability, compliance)