Brukertest

Kvalitetskontroll av relevans og adopsjonsmuligheter

Brukertesting er en av de mest spennende og givende oppgavene jeg kan tenke meg innen tjenestedesign og UX. Sammen med målgruppeanalyse er brukertesting den beste kvalitetskontrollen av et konsept eller en IT-løsning.

Målgruppeinvolvering og relevanstesting

Målgruppeinvolvering og relevanstesting er to veldig viktige aktiviteter i produkt- og tjenestedesign. Vi har også usabilitytesting og brukervennlighetstesting, men denne typen brukertest blir mer og mer til intuitivitetstesting hvor vi går gjennom prototypen sammen med mennesker i målgruppen.

Det viktigste for å lykkes med brukertesting er at vi først gjør en målgruppeanalyse, og deretter designer konsepter som svarer på behovene avdekket i målgruppeanalysen. I denne fasen er målet å finne ut om konseptet dekker behovene, oppleves som relevant og intuitivt. Vi antar ingenting – vi tester og finner svarene.

Målgruppeinvolvering dekker alle relevante former for brukertesting og andre måter å velge eller validere konsepter på.

Målgruppeanalyse for å lære om mennesker i målgruppen

Det kan selvsagt være flere målgrupper eller segmenter, men det finner vi ut når vi jobber med menneskene som antas å være i målgruppen eller målgruppene.

Jeg liker å kombinere målgruppesamtaler med observasjoner. Intervju virker litt for statisk, og målet mitt er å få til en god samtale. Under samtalen er det alltid rom for å observere litt, og lurer jeg på praktiske ting vil folk alltid vise og forklare. Observasjonene blir relativt deltakende, men er man obs går dette fint.

Hvor skal vi møte målgruppen?

Det enkle svaret er; der målgruppen befinner seg når de skal bruke løsningen. Det er viktig å avklare hvor det naturlige miljøet er.

Skal vi brukerteste en kontorløsning gjør vi det på målgruppens kontor dersom det er mulig, hvis ikke finnes vi second best. Jeg mener det er litt for enkelt å velge second best. Vi bør strekke oss langt for å møte målgruppen på deres hjemmebane.

Skal vi teste et kommunikasjonssystem for utrykningskjøretøy gjør du det for fulle sirener og med masse blålys. Poenget er å teste løsninger i sitt naturlige miljø.

Jeg mener utfordringene starter når målgruppen er stor, uklar eller litt ukjent. Ta for eksempel en app for en bank, en mobilløsning for et taxiselskap eller et lagersystem for en stor byggevarekjede. Behovene innad i målgruppen kan variere, og får vi ikke delt opp og segmentert målgruppen må vi teste både bredere og lengre.

Målgruppeinvolvering kan gjøres på mange måter, og det er konseptet/prosjektet som styrer hvem som skal involveres når og hvordan. For at kvaliteten skal være god må vi ha kontroll på både validitet og reliabilitet.

God kvalitet oppnår vi ved å være forberedt, vi må kjenne til noen forhold ved målgruppen slik at vi har ulike innganger til samtalen. Det holder også flyten i gang dersom vi kan delta og følge opp på en naturlig måte.

Jeg liker å være ute i felt og møte målgruppen på deres hjemmebane. Det sier vel seg selv at mennesker er mest naturlige i sitt naturlige miljø. Det er også i dette miljøet vi lærer mest om målgruppen, deres livsverden og kultur.

Online brukertesting

Verden har vært gjennom en lang periode med koronarestriksjoner. I denne perioden har jeg i stor grad jobbet med en avansert planleggingsløsning for en kunde. Det betyr blant annet at jeg har utført svært mange møter og ikke minst brukertester på Teams. For de involverte målgruppene har Teams fungert over all forventning. Min erfaring er at brukerne/respondentene er blitt vant med Teams og online møter.

Det finnes ulemper og fordeler med online brukertesting. En klar fordel er tilgjengelighet, spesielt dersom målgruppen befinner seg andre steder i landet, eller kanskje offshore i Nordsjøen. En annen fordel er at du hele tiden ser og har øyekontakt med den du snakker med. Den siste fordelen jeg vil trekke fram er at du ser respondentens markør på skjermen hele tiden. Du har altså øyekontakt og kan se ansiktsuttrykk, samtidig som du kan se hvor på skjermen respondenten befinner seg.

Metodetriangulering

Metodetriangulering er såpass viktig at jeg nevner det før de ulike metodene for brukertesting. Metodetriangulering er viktig siden det gir oss ulike perspektiver på undersøkelsens problemstilling. Triangulering vil i praksis si at vi som testledere vurderer og bruker flere (ulike) metoder for å øke reliabiliteten (undersøkelsens pålitelighet) og validiteten (ekstern og intern gyldighet og relevans).

I utgangspunktet bør vi ha både kvantitative og kvalitative undersøkelser, men her finnes det ikke en fasit, kun vurderinger. Grovt sett kan en kvantitativ spørreundersøkelse kvalitetssjekkes med en kvalitativ runde med korte intervjuer.

Ulike former for brukertesting

Tenke-høyt-tester – Det finnes en rekke ulike former for brukertesting. Min erfaring er at tenke-høyt-tester gir mest verdi, enten du foretar hurtige avsjekk eller jobber mer i dybden. Det er selvsagt ikke alt som kan testes på denne måten, men for meg er det basismetoden. Den egner seg veldig godt til relevanstesting og testing av målgruppens behov.

Utfører du tenke-høyt-tester er det viktig at du er obs på din egen rolle og ikke minst personlighet. Dette gjelder selvsagt alle brukertestformer, men er spesielt viktig i tester og observasjoner hvor du deltar selv.

Tenke-høyt-tester fungere bra for å teste det meste. Du kan gjøre korte quick-and-dirty varianter eller mer grundige tester. Metoden fungerer enten du er ute i felt eller inne på respondentens kontor.

Min erfaring er at det er mulig med to respondenter per tenke-høyt-brukertest, men ikke mer. Da må du bytte metode og ta en vinkling som minner mer om en workshop.

Tenke-høyt-tester fungerer godt både live og online.

Brukervennlighetstesting – Klassisk brukertest av brukervennlighet og intuitivitet hvor du som testleder ha en liten eller ingen aktiv rolle bortsett for å stille spørsmål i forhold til utdyping og bekreftelse. Jeg bruker ikke denne metoden i så stor grad i dag siden jeg opplever at respondentene gir mye av seg selv i tenke-høyt-seansene.

Denne formen er likevel spesielt nyttig når målgruppen er veldig stor eller når målene handler om tid eller nøyaktighet.

Dersom du foretrekker å ta opp brukertestene er brukervennlighetstesting godt egnet til det.

Observasjoner – Observasjoner synes jeg er veldig viktig i forhold til å tilegne seg kunnskap om målgruppen, dens livsverden og forutsetninger for bruk og adopsjon av konseptet vårt.

Vi kan dele observasjoner inn i flere delmetoder som selvstendige observasjoner, deltakende / involverende observasjoner, planlagte og ikke-planlagte observasjoner.

Mindmap – Mindmap eller tilsvarende arkitektur- / hierarkiskisse brukes for å få kontroll på de store innholdslinjene og omfanget konseptet skal dekke.

Kortsortering – Dette er en metode jeg bruker for tidlig test av innhold i nye konsept, men også dersom det skal fortas en innholdsrevisjon av en eksisterende løsning.

Kvantitative undersøkelser – Metodene over er kvalitative og handler ikke om mengde. Kvalitative undersøkelser har som hensikt å sjekke av eller hente informasjon fra en større mengde mennesker. Spørreskjema er et eksempel.

Spørreskjema, eventuelt resultater fra spørreundersøkelse, kan noen ganger danne grunnlag for et prosjekt. Hypoteser kan lages ut i fra resultatet av en kvalitativ undersøkelse og testes kvalitativt etterpå.

Min erfaring er at feilraten og nøyaktigheten i spørreundersøkelser som handler om behov, relevans eller verdi blir lav. Spørreundersøkelser kan brukes for å teste trender, vaner osv.

Stikkprøvetester og bruk av e-mail

Det er ikke alltid vi behøver dra i gang en større brukertest for å «slutte å synse, men heller teste det». Noen avklaringer klarer seg med noen stikkprøver, men det er likevel viktig at de blir gjort.

A/B-testing og gerilja-testing handler i stor grad om det samme; avklare et begrenset område på kort tid.

Mens gode gamle A/B-testen går ut på å sammenligne og vurdere to (eller flere) alternativer, kan en geriljatest handle om hva som helst du har behov for å sjekke ut. Lever du etter prinsippet om å teste i stedet for å synse vil du nok være godt kjent med begge disse metodene.

E-mail er undervurdert og kan ofte være en god måte å verifisere småting som ikke haster og må gjøres umiddelbart. Det er grenser for hva du kan sende på mail til respondenter, men det er en mulighet som ofte fungerer bra i komplekse prosjekter med lang varighet og en pool av mer eller mindre faste respondenter. E-mailtester passer ikke for alle mennesker eller alle prosjekt, men egner seg ofte i prosjekter med sterke fageksperter på «kundens domene». For å få til gode e-mailtester må du ha oversikt over bedriftskulteren(e).

Din personlighet og rolle

Det er veldig enkelt for en testleder å påvirke respondenten i hvilken som helst retning. Du må oppføre deg slik du tror respondenten forventer ut i fra setting. Det betyr at du må gjøre leksene dine i forkant og gjøre research rundt målgruppe, lokasjon osv.

Jeg har noen ganger med prosjektmedlemmer, kunder eller andre som observatører når vi driver målgruppeinvolvering. Det er ikke alle som bør være observatører, men kjenner du litt til respondentene er gir dette mange ganger verdi. Det er viktig å gi instrukser til observatørene i forkant, spesielt dersom de skal ha en deltakende rolle og kunne stille egne spørsmål eller følge opp interessante spor.

De vanligste feilene både brukertestere og observatører gjør er å selge produktet/konseptet/løsningen eller å ta det i forsvar. Skjer det må du som testleder være klar og tydelig.

Væremåte og utseende kan og vil påvirke svar og resultat. Det beste er å være en hyggelig og høflig grå mus. Har du sterk personlighet må du tone denne ned for å ikke kuppe hele brukertesten. Liker du særpregede klær må du vurdere en litt mer nøytral stil den dagen du skal delta som observatør på en brukertest.

Hva kan du si?

Det er særdeles enkelt og fort gjort å stille ledende spørsmål og styre all form for målgruppeinvolvering. Det er mange ting vi ikke bør si og mange ord vi ikke bør bruke. Motsatt er det gode ord og setninger vi bør bruke.

Det er viktig at respondenten holder samtalen gående, ikke vi som brukertester eller testleder. Vår oppgave er å lytte og stille oppfølgingsspørsmål dersom det er nødvendig eller smart. Vi må ikke spore av slik at flyten blir ødelagt.

Som tester kan vi si at vi forstår, men vi kan ikke si at vi er enig med respondenten, eller forteller respondenten vår egen mening. Respondentene hjelper oss med å finne svar og validere konsept.

Spør alltid etter behov, relevans og verdi. Kutt ut ord som vil ha eller ønsker. Jeg ber etter forventninger, meninger og standpunkt, og spør sjelden hva folk tror i en brukertest.

Vær hyggelig, høflig, ydmyk og lyttende. Det er lov til å smile!

Analyse, resultat og måling

Vi tester for å finne ut noe eller for å validere noe, men når har vi testet nok til å kunne analysere og konkludere? Grunnregelen om at «vi har testet nok når det ikke kommer ulike svar» er litt uklar. Etter en stund får vi en følelse av når vi har testet nok, men hvor mange respondenter vi skal inkludere er ikke en enkel avgjørelse.

Er målgruppen liten og tydelig, og konseptet ganske enkelt, holder det ofte med mellom 3 og 9 brukertester. 6 raske brukertester pleier ofte fungere i konseptfasen. Det beste synes jeg er å hele tiden vurdere trender. Får vi 3 negative tilbakemeldinger på rad er det rimelig sikkert noe som må endres i konseptet.

Dersom oppgaven er å lage en omfattende løsning for mange mennesker er det viktig å brukerteste et antall som gjenspeiler den totale målgruppen. Også her handler det om hvor tydelig målgruppen er.

Resultatene fra en kvalitativ undersøkelse er basert på tolkning og ikke tall. Det er folks opplevelser som ligger til grunn. Opplevelsene kan gjengis som sitater, beskrivelser eller illustrasjoner.

Legger ved en artikkel skrevet av Garry McGovern. Den handler om hvordan Toyota måler digital kvalitet i sine IT-løsinger ut mot kunde.

Teknisk test

Brukertesting og teknisk testing kan gå hånd i hånd, og det gir normalt god verdi at lederen for de tekniske testene er med på brukertesting. Unntaket er i de tidlige konseptfasene når testene er utforskende, men når konseptet har «satt seg» må testlederen inn.

Brukertesteren, altså tjenestedesigneren som utfører målgruppeinvolveringen, må sørge for at dokumentasjonen er av en slik art at Testlederen kan forstå, bruke og lagre resultatet.

I dag skal testlederen dokumentere mer enn om knappen virker. Det skal også testes og dokumenteres om respondentene finner knappen, forstår at det er en knapp og forstår hva som skjer dersom de trykker på den. Til slutt skal de oppleve at det er behov for knappen og at stedet den leder til er relevant.