Käytettävyystestaus — miten se tehdään

loka 17, 2018 | Käytettävyys

Käytet­tä­vyys­tes­tauk­sella saadaan palau­tetta palvelun/tuotteen helppo­käyt­töi­syy­destä. Testattava kohde voi olla proto­tyyp­pi­vai­heessa oleva palvelu tai valmis ratkaisu, jota halutaan parantaa. Jotta saadaan mahdol­li­simman oikeita paran­nuseh­do­tuksia palveluun, on käytettävyys­testaus suunni­teltava huolel­li­sesti.

KUVA 1. Palvelupolun avaaminen vaihe vaiheelta (kuva: Eija Hautala)

Testin suunnittelu

Käytet­tä­vyys­testiä varten kannattaa tehdä testi­suun­ni­telma, jonka kannattaa hyväk­syttää asiak­kaalla – oli asiakas sitten firman sisäinen asiakas tai ulkopuo­linen yritys. Testi­suun­ni­tel­massa kerrotaan miten ja missä testit järjes­tetään, ketä ovat testi­käyt­täjät, mitä tehtäviä heille annetaan ja mitä heiltä kysytään. On tärkeää myös tietää, miksi asiakas haluaa järjestää testit. Jotta osaat testata oikein ja oikeita asioita, tulee sinun tietää testauksen tavoitteet. Mieti testi­teh­tävien ympärille tarina, jotta tehtävät tuntuvat mahdol­li­simman luonnol­li­silta. Laadi testi­teh­tävät, jotka ovat juuri testi­hen­ki­löille luontaisia. Määrittele mikä on minkäkin tehtävän tavoite (mitä tehtä­vällä testataan). Suunnittele myös haastat­telut, jotka tehdään ennen ja jälkeen testauksen. Ennen testejä kysellään testi­hen­kilön tausta­tietoja ja myös tietoja onko hän käyttänyt aiemmin vastaavia palve­luita. Testi­teh­tävien jälkeen voi kysellä sellaisia kysymyksiä, mihin ei saatu vastauksia itse testin aikana. Suunnittele myös kuka hoitaa muistiin­panot ja miten muistiin­panot kirjo­tetaan testin aikana. Mieti haluatko äänittää tai videoida testi­ti­lanteen ja miten ne toimi­tetaan asiak­kaalle.

Testi­hen­ki­löiden rekry­tointi

Kun tiedät millai­silla testi­hen­ki­löillä on tarkoitus testata niin voit aloittaa testi­hen­ki­löiden rekry­toinnit. Henki­löiden ei kannata olla työka­ve­reitasi, ei ainakaan sellaisia, jotka ovat olleet mukana palvelun suunnit­te­lussa. Testi­hen­ki­löiksi kannattaa valita juuri sellaisia henki­löitä, jotka vastaavat oikeita palvelun käyttäjiä. Testi­hen­ki­löiden kanssa sovitaan testiaika, paikka ja hänelle luvataan palkkio käytet­tä­vyys­tes­tauk­sesta. Mikäli testi­hen­kilöä pyydetään testi­ti­lan­teessa allekir­joit­tamaan NDA, tämä kannattaa mainita jo rekry­toi­dessa. Kannattaa myös kertoa kuinka kauan testi kestää. Asiak­kaalta kannattaa varmistaa saako testi­hen­kilöt työsken­nellä kilpai­li­jalla tai saako testi­hen­ki­löksi tulla esim. toimittaja. Mikäli mahdol­lista, rekrytoi enemmän testi­hen­ki­löitä kuin mitä on tarpeen. On hyvä olla ylimää­räisiä varalla, jos joku henki­löistä ei pääsekään paikalle. Muistuta tulevasta käytet­tä­vyys­tes­tistä vielä pari päivää ennen testiä.

Testiym­pä­ristö

Ennen testi­hen­kilön saapu­mista aseta testi­laitteet aloitus­tilaan (niiden tulee olla saman­laiset jokaisen käyttäjän kohdalla) ja varmista video­ka­meran, netin yms. toimivuus. Varaa muistiin­panoja varten läppäri tai kynää ja paperia. Aseta testi­käyt­tä­jälle mahdol­li­sesti annet­tavat tulosteet helposti saata­ville ja oikeaan järjes­tykseen. Ota palkkio esille. Huolehdi siitä, että ylimää­räisiä ihmisiä ei tule testi­huo­neeseen testin aikana.

Käytet­tä­vyys­testit suori­tetaan useim­miten neuvot­te­lu­huo­neessa, mutta testiym­pä­ristö riippuu testat­ta­vasta tuotteesta. Mikäli testataan jotain, jossa on GPS, on sen testaa­minen järke­vämpää ulkona, navigoin­ti­laite testataan esim. autossa jne.

 

Käytet­tä­vyys­testin henkilöt

Testi­ti­lan­teessa on läsnä testin vetäjä eli moderaattori, testin muistiin­pa­nojen kirjoittaja eli obser­voija ja testi­henkilö. Joskus moderaattori voi toimia myös muistiin­pa­nojen kirjoit­tajana. Moderaat­torin kannattaa istua testi­hen­kilön vieressä. Obser­voija istuu paikassa, josta hänellä on hyvä näkyvyys itse testat­tavaan palveluun/ohjelmistoon.

Pilot­ti­testi

Ennen varsi­naisen ulkopuo­lisen testi­hen­kilön tulemista, kannattaa tehdä pilot­ti­testi. Pilot­ti­tes­tissä testi­hen­kilönä voi olla kollegasi tai ulkopuo­linen henkilö. Pilot­ti­tes­tillä koejär­jes­telmä testataan:

  • ymmär­tääkö käyttäjä testi­teh­tävät oikein?
  • toimiiko laitteet oikein?
  • ehtiikö obser­voija kirjoit­tamaan kaiken muistiin?
  • paljonko testiin menee aikaa?
  • saadaanko testi suori­tettua suunni­tel­lussa ajassa?

Testin aloitus

Moderaat­torin ja obser­voijan kannattaa olla ajoissa paikalla, jotta he ehtivät laittaa koeym­pä­ristön toimin­ta­val­miiksi ennen ensim­mäisen testi­hen­kilön saapu­mista paikalle. Kun testi­henkilö saapuu paikalle, häntä terveh­ditään ja hänelle esitellään paikalla olevat henkilöt. Testi­hen­ki­lölle voidaan tarjota esim. kahvia. Testi­hen­ki­lölle kerrotaan testin tarkoitus ja se, että testauk­sessa arvioidaan nimenomaan palvelun käytet­tä­vyyttä, ei käyttäjän toimintaa. Oikeita tai vääriä vastauksia ei ole. Kannattaa myös kertoa, että mikäli palvelun käytössä on jotain ongelmia, niin se johtuu palvelun huonosta suunnit­te­lusta, ei testi­hen­ki­löstä.

Kerro testi­hen­ki­lölle mitä tuleva kaksi­tun­tinen pitää sisällään ja pyydä häntä ajatte­lemaan ääneen. Kerro hänelle, että hänellä on mahdol­lisuus keskeyttää tai pitää tauko milloin tahansa. Kerro myös, ettei hänen henki­löl­li­syyttään lisätä raporttiin vaan hänet kirjataan sinne nimellä testi­henkilö 1 (TH1) jne. ja kerro mikäli testi­ti­lanne nauhoi­tetaan (kuka näkee sen ja miksi). Kysy tämän jälkeen vielä lupa nauhoi­tukseen. Kerro testi­hen­ki­lölle, että käytet­tä­vyys­testin luonteen vuoksi et voi neuvoa etkä vastata kysymyksiin testin aikana. Ennen varsi­naisen testin alkamista kysy vielä onko testi­hen­ki­löllä jotain kysyt­tävää itse käytet­tä­vyys­tes­tistä.

Testin moderointi

Moderaattori pitää huolen siitä, että testi­henkilö kokee olonsa mukavaksi koko testin ajan. Testi alkaa haastat­te­lulla. Testi­hen­ki­löltä kysytään tausta­tietoja, esimer­kiksi ikä, koulutus, ammatti, millaisia vastaavia palveluja on käyttänyt ja tunteeko testi­henkilö testat­tavan palvelun jo ennestään.

Tämän jälkeen testi­henkilö pyydetään tekemään testi­teh­tävät yksi kerrallaan. Tehtävän voi antaa myös kirjal­li­sesti. On tärkeää, että tehtävä annetaan juuri samalla tavalla kaikille testi­hen­ki­löille. Muista puhua tehtävän annois­sakin käyttäjien kieltä, älä viljele asian­tun­ti­ja­sa­nastoa. Ensim­mäisen tehtävän kannattaa olla helppo, jotta testi­henkilö rentoutuu ja saa onnis­tu­misen tunteen. Tämän jälkeen tehtävät voivat vaikeutua ja viimei­siksi tehtä­viksi kannattaa jättää sellaiset, mitä ei varmuu­della ehkä edes ehditä tehdä. Muista antaa käyttäjän tehdä rauhassa tehtävät omalla tahdillaan. Älä neuvo käyttäjää. Jos joudut jossain kohtaa neuvomaan käyttäjää jotenkin, raporttiin tulee kirjata selvästi, että käyttäjä ei pystynyt suorit­tamaan tehtävää ilman opastusta. Älä myöskään arvostele käyttäjän suori­tusta ja moderaat­torin ei kannata sanoa palve­lusta omia mieli­pi­teitään, sillä ne vaikut­tavat käyttäjän mieli­pi­teisiin helposti.

Tehtävien jälkeen tee käyttä­jälle loppu­haas­tattelu eli kysy mitä mieltä hän oli palve­lusta, mikä oli hyvää, missä oli kehitet­tävää jne. Voit kysellä myös haluaisiko käyttäjä ostaa palvelun, kun se tulee markki­noille ja miksi ei, jos käyttäjä ei innos­tunut palve­lusta. Moderaattori pitää huolta siitä, että loppu­haas­tattelu ehditään tehdä ennen kuin testiaika päättyy. Testi ei saa kestää pitempää kuin käyttä­jälle on luvattu. Kun loppu­haas­tattelu on tehty, kiitä testi­hen­kilöä, anna hänelle palkkio ja saata hänet ulos.

KUVA 1. Palvelupolun avaaminen vaihe vaiheelta (kuva: Eija Hautala)

Testin obser­vointi

Testin obser­voijan ei kannata vain kuunnella, mitä testi­henkilö sanoo ja kirjata niitä ylös. Tärkeämpää on katsoa miten käyttäjä käyttää palvelua, epäröikö käyttäjä jossain, mitä virheitä hän tekee ja mitä harha-askelia hän käytössä tekee. Tämän vuoksi obser­voijan pitää nähdä itse testattava palvelu koko ajan, esim. läppä­rillä edessään tai seinälle heijas­tettuna. Obser­voija huolehtii myös mahdol­li­sesta videoin­nista ja kuvakaap­pauksien ottami­sista.

 

Tulosten analy­sointi

Kun tuloksia analy­soidaan niin kannattaa taas miettiä sitä, missä käyttäjät menivät harhaan ja mikä oli heille hankalaa, ei niinkään sitä mitä käyttäjät sanoivat. Kun löydöksiä tehdään, niin on hyvä kirjata jokaisen löydöksen yhteyteen myös se, kenellä testi­hen­ki­löillä ongelmat esiin­tyivät tyyliin (TH1, TH3, TH4). Rapor­tissa kannattaa painottaa niitä löydöksiä, minkä moni testi­henkilö kohtasi ja niitä, jotka estivät koko tehtävän onnis­tu­misen.

 

Rapor­tointi

Raporttiin voidaan listata löydökset joko jokai­selle tehtä­välle erikseen tai jokai­selle palvelun osiolle/näytölle erikseen. Raportti ei saa sisältää vain listaa ongel­mista, vaan jokai­selle ongel­ma­koh­dalle pitää löytyä myös paran­nus­rat­kaisu eli mitä pitää tehdä, jotta ongelma poistuu. Raporttiin on hyvä tehdä yhden sivun tiivis­telmä, jonka luulta­vasti lukee moni sellai­nenkin, joka ei lue koko raporttia. Priorisoi lopuksi kaikki löydökset tyyliin:

  • Kriit­tinen — Käytet­tä­vyy­son­gelma on kriit­tinen, se tulisi korjata ensi tilassa.

  • Vakava — Korjaa­mi­selle on annettava korkea priori­teetti.

  • Lievä — Annetaan matala priori­teetti korjauk­sille.

  • Kosmeet­tinen - Korjataan, jos aikaa jää.

Raportin sisältö: 

  • Tiivis­telmä
  • Käytet­tä­vyys­testien onnis­tu­minen (mainitse tässä mahdol­li­sesti tuloksiin vaikut­tavat seikat, esim. ohjel­miston bugit, netin hitaus..)
  • Testi­hen­kilöt (esim. taulukkona tausta­tiedot, ei nimiä)
  • Testi­tehtävä 1:n löydökset paran­nuseh­do­tuk­sineen
  • Testi­tehtävä 2:n löydökset paran­nuseh­do­tuk­sineen
  • jne.
  • Loppu­haas­tat­telun tulokset

Tulosten esittä­minen asiak­kaalle

Raportti kannattaa käydä läpi myös asiakkaan kanssa. Tilai­suu­dessa voidaan muutenkin keskus­tella tärkeim­mistä tulok­sista ja siitä, mitä asioita lähdetään jatkossa työstämään ja mitkä ongel­ma­kohdat jätetään ennalleen.

Ja ei muuta kuin harjoit­te­lemaan!

FixUi Oy on oululainen suunnittelu- ja digipal­ve­luita tarjoava yritys.

Tarjoamme monipuo­lisia suunnit­te­lu­pal­veluja brändin raken­nuk­sesta käyttö­liit­ty­mä­suun­nit­teluun. Monipuo­liset tekijämme luovat sinulle toimivat ratkaisut käytet­tä­vyyden sydämellä!

Kirjoittaja

Eeva Kangas

Eeva Kangas

Toimi­tus­johtaja

Olen Eeva ja toiminut käytet­tä­vyy­sa­lalla yli 20 vuotta. Olen mukana käytet­tä­vyys­tes­taus­pro­jek­teissa ja vedän yrityksille palve­lu­muo­toi­lu­työ­pajoja.