Senior QA Engineer (LLM & Agentic Systems)

Lokalizacja: 100% zdalnie
Start: 8 czerwca 2026
Czas trwania: do 31 lipca 2026 (z możliwością dalszej współpracy)

Stawka: 110-130zł/h

O projekcie

Dołączysz do zespołu budującego nowoczesny framework testowy wykorzystujący modele językowe (LLM) do wykonywania scenariuszy regresyjnych zapisanych w formie semantycznej. Celem projektu jest automatyzacja procesu testowania oraz skrócenie cyklu walidacji wydań do jednego dnia.

Framework posiada już podstawową architekturę. Obecnie największym wyzwaniem jest zapewnienie wiarygodnej walidacji wyników działania agentów AI – tak, aby system potrafił odróżnić poprawne wykonanie zadania od pozornie poprawnych, lecz błędnych rezultatów.

Pracujemy w niewielkim, samodzielnym zespole (2–3 osoby), który odpowiada za projekt end-to-end.

Twoje zadania

• Projektowanie i rozwój frameworka testowego opartego o LLM i agentic workflows.

• Tworzenie mechanizmów walidacji rezultatów generowanych przez agentów AI.

• Definiowanie strategii testów regresyjnych oraz metod oceny ich wiarygodności.

• Projektowanie eksperymentów służących analizie zachowania modeli językowych.

• Implementacja i utrzymanie automatycznych testów UI, API i integracyjnych.

• Praca z bazami danych w zakresie przygotowania i walidacji danych testowych.

• Analiza przypadków błędów modeli AI, takich jak halucynacje, drift, prompt injection czy niestabilność wyników.

• Współpraca z klientem przy definiowaniu wymagań i podejmowaniu decyzji technicznych.

Wymagania (must have)

• AI-native mindset – aktywnie wykorzystujesz narzędzia takie jak Claude Code, Codex, Cursor lub podobne jako element codziennej pracy.

• Doświadczenie w projektowaniu i budowie agentic workflows opartych o modele LLM.

• Mocne doświadczenie w Quality Assurance obejmujące zarówno testy automatyczne, jak i manualne.

• Znajomość projektowania testów, zarządzania danymi testowymi, strategii regresji oraz analizy flaky tests.

• Bardzo dobra znajomość SQL oraz pracy z bazami danych.

• Praktyczne zrozumienie ograniczeń modeli LLM:

  • hallucinations,

  • prompt injection,

  • output drift,

  • non-determinism,

  • confident-but-wrong outputs.

• Umiejętność pracy w warunkach niepewności i eksperymentowania w celu zdobywania danych.

• Samodzielność i odpowiedzialność za dostarczanie rozwiązań.

• Gotowość do kwestionowania założeń i proponowania własnych rozwiązań.

Mile widziane

• Doświadczenie z wieloma dostawcami modeli AI (OpenAI, Anthropic, Bedrock i inni).

• Budowa systemów oceny jakości odpowiedzi LLM:

  • eval harnesses,

  • golden datasets,

  • LLM-as-a-judge.

• Znajomość Playwright i automatyzacji przeglądarkowej.

• Doświadczenie z CI/CD i pipeline’ami testowymi.

• Doświadczenie konsultingowe lub bezpośrednia współpraca z klientami.

• Zainteresowanie tematyką AI-assisted Software Development Lifecycle oraz agentic coding.

Szukamy osoby, która

• Potrafi samodzielnie identyfikować problemy i proponować rozwiązania.

• Łączy doświadczenie QA z praktycznym wykorzystaniem AI.

• Lubi eksperymentować, analizować dane i budować wiarygodne mechanizmy walidacji.

• Swobodnie porusza się pomiędzy testowaniem, automatyzacją, analizą danych i nowoczesnymi narzędziami AI.

Forma współpracy

• Praca zdalna.

• Mały, wysoko autonomiczny zespół.

• Realny wpływ na architekturę i kierunek rozwoju rozwiązania.

• Projekt z obszaru AI i nowoczesnej automatyzacji testów.