QA Engineer (GenAI)

Opis stanowiska:

Poszukujemy QA Engineer z ponad 5-letnim doświadczeniem, który będzie odpowiadał za testowanie systemów opartych na Generative AI. Kluczowe obszary to LLM (Large Language Models), chatboty, agenci AI oraz RAG (Retrieval-Augmented Generation).

Zakres obowiązków:

• Projektowanie i wykonywanie testów dla systemów GenAI
• Walidacja jakości odpowiedzi modeli AI pod kątem poprawności, spójności i bezpieczeństwa
• Automatyzacja testów i monitorowanie jakości modeli
• Współpraca z zespołem AI oraz programistami w celu optymalizacji działania systemów

Wymagania:

• 5+ lat doświadczenia w QA, w tym testowaniu systemów AI
• Doświadczenie w testowaniu LLM, chatbotów, agentów AI i RAG
• Znajomość metod oceny jakości modeli AI
• Automatyzacja testów (Python, pytest, Playwright/Cypress)
• Doświadczenie w testowaniu integracji i REST API
• Znajomość narzędzi do testowania GenAI (np. LangChain Test, Promptfoo, DeepEval)
• Bardzo dobra znajomość języka angielskiego (C1)