Spacerem przez „Ulicę Sezamkową”. Rozmowa o NLP z Piotrem Andruszkiewiczem

– Jesteśmy zespołem R&D, w którym zadania zmieniają się szybko. Pędzimy wraz z nowymi trendami w NLP, np. prompt learning, który dopiero zaczął pojawiać się na najnowszych konferencjach. To wszystko powoduje, że praca nad NLP w Samsungu to ciągły rozwój – powiedział nam w rozmowie dr inż. Piotr Andruszkiewicz, Senior Team Manager w Samsung R&D Institute Poland.

Podobnie jak Łukasz Słabiński, pracujesz w Samsung R&D Institute Poland w zespole sztucznej inteligencji. Skąd zainteresowanie obszarem AI?

Ze sztuczną inteligencją zetknąłem się na studiach, nie licząc filmów science fiction, które oglądałem wcześniej. To było coś nowego, nieznanego, więc bardzo interesującego. I tak zaczęła się moja przygoda. Praca magisterska z informatyki związana była ze sztuczną inteligencją, doktorat też. Na studiach zająłem się także wykorzystaniem sztucznej inteligencji w przetwarzaniu języka naturalnego.

Zmotywowała mnie odwieczna ciekawość języka, tego, jak funkcjonuje, jak bardzo jest nieprecyzyjny. Po drugiej stronie stała maszyna – precyzyjna i licząca bez pomyłek. Interesujące były próby „wciśnięcia” w maszynę zdolności rozumienia języka. A język naturalny jest na tyle skomplikowany, że ta przygoda trwa do dziś. Prowadzę więc wykłady o przetwarzaniu języka naturalnego (ang. NLP – Natural Language Processing) na uczelni i jestem senior managerem zarządzającym zespołem NLP w Samsungu.

A jak znalazłeś się w miejscu, w którym jesteś obecnie?

Pracę w zawodzie zacząłem już na studiach. Tworzyłem wtedy aplikacje bazodanowe. Później zaangażowałem się w projekty związane z NLP na uczelni – to było w trakcie pracy nad doktoratem. Kolejny etap to budowanie modeli uczenia maszynowego w konsultingu. Potem chciałem pracować w obszarze NLP i tak trafiłem do Samsung R&D Institute Poland, gdzie zostałem liderem nowego projektu związanego z rozumieniem języka. Już wtedy czułem, że ten temat zainteresuje mnie na dłużej. Nie myliłem się, bo obecnie – osiem lat później – prowadzę w Samsungu zespół kilkudziesięciu osób – badaczy, lingwistów i programistów – i wspólnie zajmujemy się NLP.

Kilkadziesiąt osób to pewnie kilkadziesiąt różnych zadań. Czym zajmuje się twój zespół?

Poznawaniem bohaterów „Ulicy Sezamkowej”. BERT, ERNIE, ELMo – często o nich rozmawiamy. To modele sieci neuronowych wykorzystywane w NLP. To one teraz królują. Od czasu rozpowszechnienia się sieci neuronowych i wektorów reprezentujących znaczenie wyrazów, czyli word embeddings, większość rozwiązań wykorzystuje głębokie sieci neuronowe. Choć nie wszystkie. Czasami klasyczne modele sprawdzają się lepiej.

A zajmujemy się całym procesem tworzenia rozwiązania, a więc zgromadzeniem i przygotowaniem danych, stworzeniem modeli, ich oceną i przygotowaniem do wdrożenia produkcyjnego. Skupiamy się na najważniejszych obszarach – systemach dialogowych, tłumaczeniu maszynowym, analityce z wykorzystaniem narzędzi Text Mining.

W ramach systemów dialogowych tworzymy chatboty wspomagające obsługę klientów. Zajmujemy się też odpowiadaniem na pytania, ekstrakcją informacji i budowaniem baz wiedzy. Wszystko po to, aby maszyna, z którą rozmawiamy, mówiła i reagowała jak człowiek, np. dostosowując się do emocji rozmówcy. Nasze osiągnięcia przedstawiamy na najlepszych konferencjach. Ostatnio, podczas prestiżowej konferencji EACL, prezentowaliśmy nasz artykuł o wykrywaniu relacji dla wielu języków. To jedna z najważniejszych konferencji w świecie NLP.

Oferty pracy z

Nasze rozwiązania do tłumaczenia maszynowego są nie tylko wykorzystywane produkcyjnie w najnowszych telefonach, ale także zdobywają pierwsze miejsca w międzynarodowych konkursach. W tym roku wygraliśmy konkurs tłumaczenia maszynowego dla języków indyjskich – WAT 2021. W poprzednich latach wygrywaliśmy także w innych prestiżowych konkursach – WMT i kilkukrotnie w IWSLT. W tłumaczeniu maszynowym, ale nie tylko, tworzymy modele serwerowe i te uruchamiane bezpośrednio na urządzeniu, np. telefonie. Pracujemy też nad bezpośrednim tłumaczeniem mowy w podejściu end-to-end. Nasz model tego typu wygrał konkurs IWSLT.

W ramach rozwiązań Text Mining pracujemy nad modelami, które ułatwiają życie użytkownikom telefonów komórkowych. Potrafią na przykład automatycznie sklasyfikować wiadomości czy zaproponować tytuł notatki. A rozwiązanie podpowiadające i poprawiające pisownię podczas pisania na klawiaturze urządzenia mobilnego jest niezastąpione. Tego chyba każdy doświadczył.

Realizujemy więc różnorodne projekty związane z przetwarzaniem języka.

Co jest najbardziej frapującą częścią pracy nad NLP w Samsungu?

Połączenie możliwości pracy badawczej i tworzenia rozwiązań produkcyjnych.

Co to znaczy?

Projekty, które realizujemy, wymagają stosowania najnowszych metod używanych w NLP, udoskonalania ich, wymyślania nowych, lepszych. Stosujemy podejścia, które pojawiają się na ostatnich konferencjach. Jednocześnie rozwiązania, które tworzymy, przewidziane są do użycia w urządzeniach Samsung, w konkretnych zastosowaniach. Pracując nad nimi, możemy więc wymyślać coś nowego, wyznaczać ścieżki rozwoju, a jednocześnie mieć świadomość, że stworzone rzeczy będą wdrażane i używane przez miliony osób na całym świecie. To bardzo budujące.

Oczywiście nie wszystkie rozwiązania są wdrażane. To naturalna charakterystyka prac badawczych. Czasami musi upłynąć trochę czasu, zanim przygotowane rozwiązanie, metoda zostaną użyte. Ale widząc na co dzień swoje rozwiązania, działające np. na telefonach, odczuwa się dużą satysfakcję, ponieważ ułatwiają one życie milionom użytkowników.

Jesteśmy zespołem R&D, a więc szczególnie to „R”, czyli badania, powoduje, że nie ma u nas nudy, mamy różnorodne projekty, zadania zmieniają się szybko, pędzimy wraz z nowymi trendami w NLP, np. prompt learning, który dopiero zaczął pojawiać się na najnowszych konferencjach. To wszystko powoduje, że praca nad NLP w Samsungu to ciągły rozwój. Musimy być na bieżąco i szybko opanowywać nowe technologie. Dodatkowo mamy dostęp do mocy obliczeniowej, co w obecnym stanie NLP jest kluczowym czynnikiem. Wszystko to powoduje, że pracując w naszym zespole, szybko stajemy się ekspertami NLP.

A zdradź coś więcej na temat swojego zespołu. Kim jesteście?

Jesteśmy interdyscyplinarnym zespołem, który składa się zarówno z badaczy, inżynierów specjalizujących się w AI/NLP, jak i z lingwistów i programistów.

W naszym zespole kluczowe jest zainteresowanie AI/NLP i chęć pracy w tej dziedzinie. Oczywiście, znajomość tego obszaru też jest istotna. Ale najważniejszy jest rozwój, bo zagadnień związanych z NLP można się nauczyć … także w praktyce. A w związku z tym, że jesteśmy R&D, to trafiają tu osoby z żyłką badacza, chęcią eksperymentowania, proponowania nowych rozwiązań, ale także zdolnościami programistycznymi. Teraz w NLP króluje Python – akurat nie z „Ulicy Sezamkowej”.

W związku z tym, że jesteśmy zespołem interdyscyplinarnym, nieustająco trwa u nas ciągła współpraca inżynierów i lingwistów – wymiana informacji jest niezwykle istotna. Zajmujemy się głównie językami europejskimi, ale nie tylko, więc nasi lingwiści mówią w językach całego świata.

Wyobrażam sobie, że w pracy nad NLP potrzebni są wciąż nowi ludzie, wymiana energii, wszak to dziedzina, która cały czas się rozwija…

Zgadza się. Ciągle poszukujemy osób, które zainteresowały się NLP i chciałyby pracować w tym obszarze. Mam tutaj na myśli zarówno doświadczone osoby, jak i te, które rozpoczynają swoją przygodę. Niezbędna jest znajomość programowania. I, co ważne, otwartość na nowe wyzwania.

Realizujemy różnorodne projekty. Zarówno te związane z rozumieniem języka naturalnego – tu wykorzystujemy także techniki Text Mining, analitykę, ekstrakcję informacji – jak i te obejmujące tłumaczenie maszynowe, generowanie języka czy systemy dialogowe. Każdy znajdzie dla siebie coś ciekawego. Także z możliwością poprowadzenia zespołu pracującego nad wybranym zagadnieniem.

A gdybyś mógł powiedzieć, tak z serca, osobiście, co napawa Cię dumą? Co cieszy najbardziej w takiej pracy?

Przede wszystkim zespół – współpracujący, wkręcony w NLP, z pasją podchodzący do nowych wyzwań. Tu można liczyć na wsparcie, na przykład na wspólną „rozkminę” propagacji gradientu przez nie do końca propagowalną część sieci. Dodatkowo to brak monotonii, różnorodne zadania, wyzwania. Praca z najnowszymi modelami, technikami, a dzięki temu też możliwość ułatwiania życia wielu osobom korzystającym z urządzeń Samsung.

To wszystko sprawia, że wspólnie rozwijamy dziedzinę NLP i dostarczamy najnowsze osiągnięcia, zarówno na „Ulicę Sezamkową”, jak i w każde inne miejsce na całym świecie.

Dr inż. Piotr Andruszkiewicz. Senior Team Manager w Samsung R&D Institute Poland. W 2005 roku uzyskał tytuł magistra inżyniera w Instytucie Informatyki Politechniki Warszawskiej, a dwa lata później obronił pracę magisterską z ekonomii na Uniwersytecie Warszawskim. Stopień naukowy doktora nauk technicznych w dyscyplinie Informatyka uzyskał na Wydziale Elektroniki i Technik Informacyjnych w 2012 roku. W Instytucie Informatyki Politechniki Warszawskiej pracuje od 2011 roku. Tematyką text mining i NLP zajmuje się od ponad 15 lat. W Samsung R&D Institute Poland pracuje od 8 lat, gdzie prowadzi zespół zajmujący się NLP.