AI Engineer (K/M)

Projekt realizowany w sektorze bankowym, obejmujący budowę i rozwój agentowych rozwiązań opartych o LLM, działających w środowisku enterprise Azure OpenAI. Zespół rozwija wieloetapowe systemy AI wykorzystujące RAG, tool use oraz architektury multi-agentowe, z naciskiem na bezpieczeństwo, jakość i standaryzację rozwiązań AI w środowisku regulowanym.

Twój zakres obowiązków

• Projektowanie modularnych promptów dla systemów agentowych

• Projektowanie system promptów oraz opisów narzędzi dla agentów AI

• Projektowanie rozwiązań odpornych na halucynacje i prompt injection

• Tworzenie outputów zgodnych z wymaganiami systemów downstream

• Projektowanie przepływów agentowych i architektur multi-agentowych

• Projektowanie promptów dla scenariuszy RAG i grounding

• Budowa golden datasets oraz zestawów ewaluacyjnych

• Definiowanie i analiza metryk jakości rozwiązań AI

• Przeprowadzanie regression testing dla promptów i modeli

• Analiza trace’ów agentów oraz diagnozowanie failure modes

• Budowa i utrzymanie standardów „prompt as code”

• Dokumentowanie promptów oraz architektur agentowych

• Współpraca z biznesem, zespołami AI, IT, compliance i security

Nasze wymagania

• Doświadczenie w projektowaniu rozwiązań opartych o LLM i agentic AI

• Znajomość architektur agentowych oraz tool use/function calling

• Doświadczenie z RAG oraz groundingiem na danych źródłowych

• Znajomość zagadnień prompt engineering i prompt as code

• Doświadczenie w pracy z Git oraz CI/CD

• Umiejętność projektowania struktur JSON i output schema

• Znajomość zagadnień bezpieczeństwa LLM, prompt injection i data leakage

• Umiejętność analizy jakości modeli i ewaluacji rozwiązań AI

• Doświadczenie we współpracy z biznesem i zespołami technicznymi

• Znajomość środowisk regulowanych oraz aspektów compliance/security

• Bardzo dobre umiejętności analityczne i komunikacyjne

Mile widziane

• Znajomość modeli reasoning takich jak Claude extended thinking

• Doświadczenie z narzędziami LangSmith, Langfuse, Promptfoo lub Braintrust

• Doświadczenie w projektach AI/ML w sektorze finansowym

• Znajomość architektur multi-agentowych

• Doświadczenie w model risk management oraz UAT dla rozwiązań AI