Rozmowa o tym, jak 13-osobowy zespół badań w COI dba o głos obywateli przy stole decyzyjnym, bada tych, którzy z aplikacji jeszcze nie korzystają, i mierzy sukces liczbą wdrożonych rekomendacji, a nie liczbą stron raportu.
Dołącz do WSKAZÓWEK i prawie 900 osób, które już przechodzą od insightu do zmiany
Co poniedziałek o 8:00 na Twoją skrzynkę mailową trafia jedna konkretna wskazówka z mojego doświadczenia wraz z podpowiedzią jak wykorzystać ją w Twojej drodze od insightu do zmiany.
Badania użytkowników w sektorze publicznym: czego nauczyłem się od zespołu badań w COI
Badania użytkowników w sektorze publicznym mają inną stawkę niż w biznesie. Nie chodzi o klientów, którzy przynoszą najwięcej pieniędzy, tylko o wszystkich obywateli. Moja rozmówczyni z Centralnego Ośrodka Informatyki ujęła rolę swojego zespołu krótko: zapewnić głosowi obywateli miejsce przy stole decyzyjnym i w odpowiednim momencie zapytać „a co na to obywatele?”. W tym odcinku rozmawiamy o tym, jak to wygląda w praktyce przy produkcie, z którego korzysta około 12 milionów Polaków.
Nieużytkownicy: 40% Polaków, o których łatwo zapomnieć
Po latach badań zespół ma bardzo dużo wiedzy o użytkownikach mObywatela. Coraz ważniejsze staje się więc pytanie o tych, którzy z aplikacji nie korzystają. Około 40% Polaków nadal załatwia sprawy urzędowe offline, a rozwiązania publiczne z definicji muszą być inkluzywne.
Ciekawy szczegół: zespół nie wyświetla użytkownikom pop-upów z ankietami. Celowo chroni aplikację przed nadmiarem powiadomień. Zamiast tego rekrutuje respondentów przez screener do badań jakościowych, a w badaniach ilościowych korzysta z prób ogólnopolskich z boosterem na wybraną grupę.
Tegoroczna segmentacja nieużytkowników pokazała, że to nie jest jednorodna grupa. Są osoby, które słyszały o aplikacji, ale nie czują, że to coś dla nich. Są takie, do których komunikacja w ogóle nie dotarła, choć mogłyby być zainteresowane. Są osoby analogowe z wyboru i takie, które po prostu trzymają się swoich przyzwyczajeń. Każdy z tych segmentów wymaga innej komunikacji i innych decyzji projektowych.
Badania użytkowników w sektorze publicznym zaczynają się przy wspólnym stole
Najważniejszy moment całego procesu to według mojej rozmówczyni punkt startu. Plan badania powstaje wspólnie z biznesem, interesariuszami i zespołem projektowym. Razem ustalają, co badać i po co. Coraz częściej punktem wyjścia jest też pytanie, jaki problem dana funkcja ma w ogóle rozwiązywać, a nie tylko czy jest użyteczna.
Już na tym etapie wiadomo, kto będzie właścicielem wyników. Sam wielokrotnie widziałem sytuację odwrotną: badanie było gotowe, a dopiero potem szukaliśmy kogoś, kto się nim zaopiekuje. Odpowiedź na pytanie „co po badaniu?” warto znać, zanim się je zacznie.
Interesariusze są obecni przez cały proces, również na wywiadach i testach użyteczności. Rekomendacja ma zupełnie inną siłę, kiedy ktoś usłyszał problem na własne uszy, a nie tylko o nim przeczytał.
Miara sukcesu: ile rekomendacji faktycznie wchodzi w życie
To dla mnie najcenniejszy wątek tej rozmowy. Wartość badań trudno zmierzyć tym, na ile odkrywcze były insighty. Zespół COI mierzy więc coś bardzo konkretnego: ile rekomendacji trafia na stół decyzyjny i jest dalej realizowanych. Jeśli z dziesięciu rekomendacji sześć idzie do wdrożenia, to jest liczba, którą można pokazać każdemu.
Zespół nie monitoruje wdrożeń, bo to już odpowiedzialność właściciela produktu. Przypomina się jednak i wie, z czym wychodzi z każdego badania.
Koniec z grubym raportem: powrót do Excela
Zespół robił wszystko zgodnie ze sztuką: raporty, prezentacje, executive summary. A mimo to coś nie klikało. Rozwiązaniem okazał się stary, dobry Excel. Raport nadal powstaje, ale głównym artefaktem jest lista rekomendacji skupionych na produkcie. Przy każdej omawia się z biznesem, co robimy, czego nie robimy, co zawieszamy i dlaczego.
Dzięki temu badacze dowiadują się, że coś jest technicznie niemożliwe albo zaplanowane na przyszły rok. Z każdą iteracją lepiej wiedzą, które rekomendacje warto dalej podbijać, a które odpuścić. To przesunięcie o pół kroku dalej, niż zwykle kończą się badania.
Przyznam, że ten fragment dał mi do myślenia. Jeszcze w czasach agencji nieraz w duchu obrażałem się na świat, że ktoś nie docenił świetnego raportu, w którym było tyle wartościowych rzeczy. Tymczasem nikt nie ma czasu przekopywać kilkudziesięciu stron, żeby znaleźć rozdział o sobie i rekomendację na jego końcu.
Jak przekonać nieprzekonanych: noga w drzwiach i quick winy
13 osób na organizację liczącą 1800 pracowników oznacza, że nie da się być wszędzie. Tam, gdzie otwartość jest mniejsza, zespół zaczyna od małej rzeczy, na przykład audytu badawczego jednej ścieżki. Taki audyt potrafi pokazać szybkie poprawki, choćby źle opisane pole formularza, przez które ludzie odpadają z procesu.
Działa też marketing szeptany. Zespoły, które już współpracowały z badaczami, polecają ich dalej, a ktoś wraca z prośbą choćby o krótką ankietę satysfakcji. Do tego dochodzą wewnętrzne wystąpienia o metodach i wynikach, na przykład o segmentacji, oraz pokazywanie narzędzi takich jak eye tracker. Zespół nie chce siedzieć w piwnicy i wychodzić raz na jakiś czas z raportem. Chce być na wyciągnięcie ręki.
Moja rozmówczyni stanowczo sprzeciwia się modelowi, w którym badacze raz na jakiś czas zrzucają zespołowi bombę w stylu „patrzcie, jak u was źle”. Relacja z interesariuszami ma być partnerska i budowana latami.
Dostępność: public nie może wykluczać
Rozwiązania tworzone z publicznych pieniędzy muszą być dostępne dla wszystkich. W badaniach z osobami z niepełnosprawnościami zespół współpracuje z wewnętrznymi ekspertami do spraw dostępności, którzy pomagają też formułować rekomendacje.
Przykład z praktyki: osoba korzystająca z czytnika ekranu musi dostać od A do Z, w odpowiedniej kolejności, wszystko, co jest na ekranie, łącznie z opisem grafik. W tym obszarze jest już całkiem dobrze. Dużo pracy zostaje przy osobach głuchych, dla których polski bywa drugim językiem, a część posługuje się wyłącznie polskim językiem migowym. W czasach, gdy nowe technologie i AI kuszą z każdej strony, wyzwaniem jest nie wykluczyć nikogo domyślnie.
Zespół postawił sobie też niewygodne pytanie: jak pisać raporty o dostępności, które same nie są dostępne? Pierwsze dostępne raporty już powstały. Materiały publikowane na zewnątrz mają być dostępne w możliwie najwyższym stopniu, a bieżąca komunikacja wewnętrzna rządzi się innymi prawami, bo liczy się tempo.
AI w badaniach: ostrożny pilotaż
Badań i źródeł danych przybywa z roku na rok, a 13 osób nie przeanalizuje wszystkiego ręcznie. Zespół ma repozytorium wyników ze wszystkich badań oraz narzędzie w Pythonie, które jedna z badaczek stworzyła do analizy danych ilościowych. Rozwiązania oparte na AI są na etapie pilotażu. Organizacja podchodzi do nich ostrożnie, nawet przy danych zanonimizowanych. Kierunek jest jednak jasny: odciążyć badaczy w analizie i łączeniu wniosków z różnych źródeł, żeby mogli skupić się na samych badaniach.
Największe wyzwanie: za późno przy stole
Najtrudniejsze są sytuacje, w których zespół zostaje włączony za późno. Decyzja już zapadła, rozwiązanie jest wdrażane, a dobre rekomendacje mijają się z harmonogramem. Do tego dochodzą odmowy tam, gdzie niewielkim nakładem dałoby się zrobić coś wartościowego. Zespół jednak nie odpuszcza. Wraca i puka ponownie, bo coś, co nie udało się rok temu, w tym roku bywa możliwe.
Trzy rady dla liderów badań, nie tylko w sektorze publicznym
Na koniec poprosiłem o trzy rady dla osób, które kierują badaniami i muszą bronić ich wartości, także wtedy, gdy słyszą „zapytam AI, po co robić badania?”:
- Mów językiem biznesu. To inny sposób komunikacji niż ten badawczy i warto go świadomie rozwijać w zespole.
- Buduj relacje z interesariuszami u podstaw. Jeśli nie możesz prowadzić badań w danym obszarze, angażuj ludzi inaczej: pokazuj wyniki z innych projektów i ich wartość.
- Pokazuj, że badania mogą być zwinne. Łatka „badania zablokują nas na pół roku” jest krzywdząca. Krótka iteracja testów użyteczności czy szybka ankieta satysfakcji też dają realną wartość, bez utraty jakości.
Więcej o tym, jak krok po kroku przekładać badania na decyzje w dużych organizacjach, znajdziesz w moim cotygodniowym newsletterze.
Sesja strategiczna 1:1
Masz podobne wyzwanie w swojej organizacji i potrzebujesz odbić myśli i omówić opcje działania, zanim zainwestujesz w nie czas i budżet? Umów 90-minutową sesję strategiczną 1:1 i zyskaj świeże spojrzenie oparte na 13 latach mojej praktyki w CX, EX i Service Design.