W jaki sposób serwis przyciągający 20 mln użytkowników miesięcznie poradził sobie z problemami z usability?

InterviewMe, największy serwis z poradami zawodowymi w Polsce zmagał się z problemami użyteczności — poprawy wymagały m.in. działanie poszczególnych komponentów, nawigacja, klarowność treści. Serwis skorzystał z pomocy Sharewella — platformy do automatyzacji i moderowania badań jakościowych i ilościowych. Czy teraz poleca tę platformę? Jakie są zalety, a jakie wady korzystania z tego rodzaju narzędzi?

Mariusz Dobrzański. Experience & Design Team Manager w BOLD. UX Designer i manager z ponad 15-letnim doświadczeniem w dostarczaniu rozwiązań przyjaznych użytkownikom i korzystnych dla biznesu. Budował aplikacje, platformy internetowe, aplikacje mobilne i strony internetowe docierające do milionów użytkowników miesięcznie. W BOLD od ponad 3 lat. Zbudował zespół projektowy od zera. Obecnie odpowiedzialny za dział złożony z 11 UX— i UI designerów, o których rozwój, a także zdobywanie praktycznej wiedzy dba na co dzień. 

Mateusz Majchrzak. UX/UI Designer w BOLD. Projektant z 7-letnim doświadczeniem jako Graphic Designer oraz UX/UI Designer. Od ponad roku dba o rozwój produktów BOLD oraz wspiera swoją wiedzą i doświadczeniem pozostałych członków zespołu.

Kornelia Śpiewak. UX Designerka na ostatnim roku psychologii. Swoją wiedzę i doświadczenie od trzech lat buduje i rozwija w firmie BOLD, specjalizując się w optymalizacji ścieżki krytycznej w produktach SaaS.

Zobacz też

Praca w IT UVP - co to takiego i jak odnieść sukces w tej branży?

O Sharewell.eu

Jako zespół Sharewell.eu ekspansję na polski rynek rozpoczęliśmy w grudniu 2021 roku. Narzędzie, o którym wspominamy, umożliwia rekrutację uczestników do badań jakościowych i ilościowych. Dodatkowo oferujemy szereg usług jako agencja — moderowanie badań, analizę i wyciąganie wniosków oraz raportowanie (np. w zgodności z przyjętymi standardami WCAG 2.1). W skrócie — jeśli spotyka Cię problem związany z badaniami, chętnie Cię wesprzemy, niezależnie od etapu, na którym Ty lub Twój zespół aktualnie się znajdujecie.

O InterviewMe.pl

InterviewMe.pl to popularny serwis kariery, który oferuje profesjonalny kreator CV i listu motywacyjnego, i z sukcesem rozwija międzynarodową markę Zety. InterviewMe i Zety to także popularne blogi o tematyce rekrutacji i kariery zawodowej, które przyciągają ponad 40 milionów czytelników z całego świata rocznie i są cytowane przez takie tytuły, jak Financial Times, Forbes i The Guardian.

W tej chwili InterviewMe to największy serwis z poradami zawodowymi w Polsce. Pomaga użytkownikom znaleźć wymarzoną pracę oraz napisać skuteczne CV. Serwis udostępnia ponad 300 poradników zawodowych. Każdy z nich napisany został na podstawie rozbudowanego researchu, konsultacji i wiarygodnych danych. Docenił nas między innymi Warszawski Uniwersytet Medyczny oraz wiele innych uczelni, instytucji i organizacji w całej Polsce.

W 2019 roku portal InterviewMe stał się częścią większej rodziny w ramach grupy BOLD, która od 2005 roku buduje największe serwisy kariery na świecie. W sumie wszystkie portale przyciągają ponad 240 mln odwiedzających rocznie i były opisywane w The Guardian, Forbes i The Financial Times. Z siedzibą w Puerto Rico i biurami w Polsce, San Francisco i Indiach, jesteśmy globalną organizacją na drodze do zmiany branży kariery, jaką znamy.

Cele i założenia

• Uzyskanie informacji o nieodkrytych problemach użytkowników.
• Odkrycie nowych szans na poprawienie użyteczności InterviewMe.pl.
• Uzyskanie szerszej wiedzy na temat użytkowników i ich potrzeb.
• Przetestowanie platformy Sharewell.eu.

Metryki użyteczności

W ramach badania skupiliśmy się na opisowej ocenie zachowania użytkownika — chodziło nam o sprawdzenie, jak radzi on sobie z obsługą aplikacji. Warto zaznaczyć, że dzięki temu, że interfejs InterviewMe jest bardzo intuicyjny, wszystkie zadania zostały ukończone w 100 procentach.

Badanie pomogło nam ocenić działanie poszczególnych komponentów, nawigacji i klarowność treści. Udało nam się zebrać rzetelne informacje i wyciągnąć z nich cenne wnioski.

• Ocena działania ścieżki krytycznej
• Czy komponenty działają dobrze i są zrozumiałe dla Użytkownika?

Metodologia: Testy zdalne

Metodę badań zdalnych i niemoderowanych zaczęliśmy doceniać szczególnie w czasie, kiedy COVID-19 mocno oddziaływał prawie na każdy aspekt naszego życia. Sytuacja pandemiczna miała również duży wpływ na jakość przeprowadzanych badań IDI. 

Szczególnie doceniamy istnienie takich platform jak Sharewell, która umożliwia szybką rekrutację uczestników i uzyskanie wyników praktycznie w ciągu jednego dnia. Korzystaliśmy z niej również podczas testowania nowych rozwiązań dla naszej aplikacji, w celu oceny ich skuteczności i przydatności dla Użytkownika.

Proces badania użyteczności

Badanie zostało przeprowadzone na platformie Sharewell.eu z wykorzystaniem opcji badań niemoderowanych. Dzięki usługom Sharewell udało się nam łatwo zrekrutować uczestników badania, wprowadzić i przetestować scenariusz, a na koniec przeanalizować wyniki zebranych sesji.

Role

Badanie było przygotowywane i oceniane przez grupę mającą w składzie UX Designerów i UX/UI Designera, doświadczonych w przeprowadzaniu badań, szczególnie niemoderowanych. Testy i badania z użytkownikami są zresztą wpisane w DNA naszego procesu produktowego w BOLD.

Uczestnik/Użytkownik

Do badania zaprosiliśmy osoby w wieku produkcyjnym (głównie od 25. do 55. roku życia), co odzwierciedla przekrój wiekowy użytkowników naszego serwisu.

Scenariusz i zadanie

Scenariusz skupiał się na badaniu ścieżki krytycznej kreatora CV InterviewMe, od momentu wejścia użytkownika do narzędzia aż do pobrania dokumentu. Obejmował takie kroki, jak:

1. Ocena wypełniania danych personalnych
2. Badanie formularza z doświadczeniem zawodowym i wykształceniem
3. Przejście przez kroki aż do osiągnięcia widoku „Sprawdź i pobierz”
4. Badanie możliwości pobrania dokumentu i reakcji uczestników badania

Badanie kończyło się ankietą, która zawierała pytania:

1. Co było najgorszym doświadczeniem w trakcie tworzenia dokumentu?
2. Które aspekty warto ulepszyć?
3. Co się podobało w badanym kreatorze?

Użytkownik miał również możliwość dodania kilku słów od siebie, wykraczających poza odpowiedzi na pytania, poruszające powyższe kwestie.

Przeprowadzenie testu zdalnego

Badanie przeprowadziliśmy w trzech etapach:

1. Test na jednym użytkowniku dla sprawdzenia poprawności działania scenariusza przy badaniu niemoderowanym.
2. Badanie na 5 użytkownikach.
3. Badanie na kolejnych 5 użytkownikach z podniesieniem jakości scenariusza.

Wynik

Uczestnicy zakończyli wszystkie zadania w 100 procentach. Przy analizie nagrań na podstawie zachowań użytkownika, również tych zwerbalizowanych, udało się nam uzyskać wiele obserwacji i hipotez, które będziemy dalej procesować w ramach produktowego procesu „Insights”.

Co znaleźliśmy?

W trakcie badania udało się wskazać kilka potencjalnie najbardziej wpływających na ścieżkę użytkownika etapów działania naszego narzędzia. Oto najważniejsze z nich:

I. Wybór szablonów

Jest to jeden z pierwszych kroków na ścieżce Użytkownika, przez który przechodzi większość osób wchodzących w interakcję z naszym kreatorem CV. 

Badani mieli uwagi co do widoczności szablonów dokumentów (widzieli tylko kilka z nich). Na podstawie analizy nagrań okazało się, że problem może dotyczyć tylko niektórych grup Użytkowników, mających niższą rozdzielczość ekranu. W takim przypadku dolna nawigacja nie była wystarczająco dobrze widoczna. Być może sama hierarchia wizualna wymaga zmiany.

II. Nawigacja klawiaturą

Podczas korzystania z kreatora CV niektórzy Użytkownicy wykorzystywali klawisz TAB (w celu szybkiego przechodzenia pomiędzy polami). Niejednokrotnie w momencie, gdy kursor myszy użytkownika znajdował się nad obszarem przycisku, stan „hover” był niewidoczny, a informacja o aktywnym stanie wybranego elementu znikała. Powodowało to wzrost frustracji u Użytkownika. 

Naszym zadaniem będzie zatem weryfikacja widoczności przycisków w Design Systemie i zmiana sposobu nawigowania w kreatorze, tak, by Użytkownikom było wygodniej korzystać z narzędzia.

III. Paski przewijania

Drugim kluczowym elementem w kreatorze CV okazały się paski pionowego przewijania treści. Użytkownicy, którzy nie korzystają np. z kółka myszki, używają paska przewijania. Trzymając wciśnięty klawisz, przewijają całą treść. Ponieważ kreator zbudowany jest na trzy kolumnowym układzie strony, przy dłuższych treściach pojawiają się niejednokrotnie aż trzy paski przewijania. To może powodować, że Użytkownik czuje się zdezorientowany.

Zauważyliśmy również problem z lewym paskiem przewijania (lewe boczne menu). Jest po prostu wystarczająco widoczny, aby z niego skorzystać. 

Tego typu błędy, które odkryliśmy w czasie badania uświadamiają, że warto uczulić projektantów, by bardziej brali pod uwagę fakt różnych form i sposobów korzystania z kreatora CV. Konieczne jest także przygotowanie dokładniejszych list kontrolnych, które pomogą włączyć obserwację zachowania Użytkowników w proces projektowania.

Co dalej?

• Zebrane znaleziska będą dalej procesowane w ramach produktowego procesu INSIGHTS. Poddamy je ocenie oraz ustalimy rodzaj ich wpływu na zachowania użytkowników, oraz na sam produkt. Kolejne etapy procesu projektowego będą obejmowały, warsztaty, badania z użytkownikami, aż po implementację konkretnych rozwiązań w ramach testów A/B.
• Planujemy również dalszą segmentację grup wiekowych, wraz z sięgnięciem do grup wiekowych 18-25.

Oferty pracy z

Ocena platformy Sharewell

Pros

• Wygodny interfejs.
• Testowanie w środowisku mobilnym.
• Dostęp do dużej ilości polskich respondentów.
• Możliwość przeprowadzania zdalnych badań IDI!
• Szybka i prosta w obsłudze rekrutacja uczestników do badań.
• Automatyczna transkrypcja w języku polskim (działająca nawet w ~90%).

Cons

• Ocena wystawiona przez jednego użytkownika nie jest widoczna dla innych.
• Pasek z wyborem prędkości odtwarzania nie chował się po wybraniu opcji.
• Brak opcji zadania dodatkowych pytań po zakończeniu zadań przez użytkownika.
• Brak możliwości oznaczenia, które nagrania zostały już obejrzane — np. nagrania z jednego testu ogląda kilka osób, ale nie wiadomo czy dane nagranie było już przeglądane.

Zobacz też

Wywiady Każdy może zostać usability testerem i dodatkowo zarobić. Jak? Wywiad ze Stenem Kreisbergiem

Zdjęcie główne pochodzi z unsplash.com.