Specjalista testów wydajności AI

Informacje o projekcie:

• Branża: bankowość

• Tryb pracy: Praca zdalna z możliwością spotkań w biurze w Warszawie

• Stawka: do 140zł/h netto + VAT

• Data zakończenia: Długoterminowy

• Start: ASAP

Podsumowanie: Analityk testów wydajności AI będzie odpowiedzialny za przeprowadzanie testów wydajnościowych systemów IT oraz usług opartych na modelach AI/ML i LLM, mających na celu identyfikację i optymalizację problemów wydajnościowych.

Zakres obowiązków:

• Przeprowadzanie testów wydajnościowych systemów IT oraz usług opartych o modele AI/ML i LLM.

• Profilowanie aplikacji, pipeline'ów AI oraz procesów inferencji (CPU/GPU) oraz analiza problemów wydajnościowych w kluczowych systemach.

• Współpraca z Administratorami, Programistami, Architektami, zespołami ML i DevOps w celu zapewnienia optymalnej wydajności i stabilności systemów.

• Budowa mechanizmów zasilających systemy w duże wolumeny danych testowych, także dla modeli AI oraz środowisk RAG.

• Rozwój platformy automatycznych testów wydajnościowych, w tym scenariuszy obciążeniowych dla API oraz usług AI/LLM.

• Monitorowanie kluczowych metryk wydajnościowych (m.in. latency, throughput, tokens/s) oraz przygotowywanie rekomendacji optymalizacyjnych.

• Przygotowywanie raportów i prezentowanie wyników testów interesariuszom technicznym i biznesowym.

Mile widziane:

• Minimum 4 lata doświadczenia w branży IT oraz co najmniej 3 lata w automatyzacji testów i analizie wydajności.

• Umiejętność programowania w jednym z języków: Python, JavaScript, JAVA.

• Znajomość narzędzi do testów obciążeniowych: JMeter, Gatling, SOAP UI, Load Runner.

• Doświadczenie w pracy z narzędziami APM (Dynatrace, Elastic) oraz w profilowaniu aplikacji i usług, w tym znajomość SQL.

• Doświadczenie w testowaniu wydajności modeli AI/ML (latency, throughput, tokens/s).

• Znajomość architektury LLM oraz pipeline’ów RAG i ich wpływu na wydajność systemów.

Nice to Have:

• Znajomość narzędzi monitorujących i analitycznych dla modeli AI: MLflow, TensorBoard, Weights & Biases.

• Umiejętność projektowania scenariuszy obciążeń dla API usług AI/LLM oraz optymalizacji kosztowo-wydajnościowej.

• Rozumienie praktyk DevOps i automatyzacji procesów testowych.