A/B-käyttäjätestauksen suunnittelu

Abstract

Insinöörityön tarkoituksena oli tarkastella A/B-testauksen soveltuvuutta yrityksen asiakas-viestintätiimin arkeen yhden viestintäkanavan, henkilökohtaisten asiakasviestien tapauksessa.

This thesis studies A/B-testing in general, and how it could be used in the daily work of the customer’s Customer Communication Team with web platform’s personized private messages as the study case. The study was conducted by partaking and observing the 6 week work process of creating multiple campaigns for this medium, as well as interviewing members of the team. The goal was to pinpoint the most arduous and time consuming parts of the process and implementing the new tasks required for testing into it while causing minimal workload increase in order to find the easiest possible process change. A test campaign was published and executed according to an actual order from a client. Due to limited possibility of changing the technical aspects the process change was intentionally limited to renewing and testing of text content and approaching clients from the same target group with differing tones of voice with the hypothesis that younger clientele would respond better to a message conveying ease and an informal tone. A more traditional and formal message that stressed monetary gain and other benefits was used as a control. The test was conducted successfully and the results were compared against the average performance of the communication channel. The test results showed no significant difference that would have supported the hypotheses. Application of the renewed process for previously existing campaigns will still require contact between the team, the contractor and the legal department which was considered to be the most time consuming part of the process, but the observations can still be applied for efficiency increase by getting approval for multiple variants at the same time as per the renewed process. The cooperation and transparency between the technical personnel, the users and the development personnel turned out to be quite bureaucratic and showed that the workload caused by minor functional and appearance changes to the user interface would be greater than the benefit from minor optimization testing performed with them. To enable more fluid testing for the appearance and functionality of the user interface the introduction and requests of changes, as well as the tools needed for these changes, should be done well in advance, possibly during considerations of platform renewal plans. The slowness of changes together with the predicted minor results yielded caused them to be outscoped in order to concentrate the testing into the biggest single dropout in the user funnel – clicking on the message headline.

Insinöörityön tarkoituksena oli tarkastella A/B-testauksen soveltuvuutta yrityksen asiakasviestintätiimin arkeen yhden viestintäkanavan, henkilökohtaisten asiakasviestien tapauksessa. Tutkimus suoritettiin päivittäisen työn ohessa tarkkailemalla ja osallistumalla usean kampanjan luonnin kuuden viikon mittaiseen työprosessiin samanaikaisesti ja haastattelemalla asiakasviestintätiimin jäseniä. Tavoitteena oli paikantaa aikaa vievimmät ja työläimmät työosuudet ja sovittaa uuden työtavan vaatimat lisätoimet niihin minimaalisella työ- kuorman lisäyksellä helpoimman mahdollisen prosessimuutoksen löytämiseksi. Lopulta julkaistiin uudistetun prosessin mukaisesti testikampanja tiimille tulleen oikean toimeksiannon pohjalta. Prosessimuutos rajattiin teknisten valmiuksien vuoksi viestinnän tekstuaaliseen sisältöön lähestymällä samaa viestiä eri sävyillä, hypoteesina nuorille asiakkaille suunnatun tekstuaalisen viestinnän epämuodollisuuden ja helppouden korostamisen suurempi houkuttelevuus. Kontrollina toimi perinteisempää virallista sävyä käyttävä ja etuja painottava versio. Testi saatettiin onnistuneesti loppuun koetilanteessa, ja tuloksia verrattiin saman kanavan keskimääräiseen suoriutumiseen testausajan loputtua. Tässä yksittäisessä testissä ei havaittu testiversioiden välillä huomattavia testin hypoteesia tukevia eroja. Uusitun prosessin soveltaminen olemassa oleviin kampanjoihin, eli vaihtoehtoisten uusien sisältöversioiden luominen, vaatii jatkossakin yhteydenpitoa tilaajan ja asianajajien kanssa, mutta tässäkin on mahdollista lisätä tehokkuutta tarkistuttamalla useampi vaihtoehtoinen teksti kerralla kokeillun prosessin mukaisesti. Yhteistyö ja läpinäkyvyys sivuston ylläpitäjien ja käyttäjien tai kehittäjien välillä osoittautui byrokraattiseksi ja aiheuttaa nykyisellään kohtuuttoman työmäärän pienten ulkoasuun ja toiminnallisuuteen vaikuttavien optimointitestien potentiaaliseen hyötyyn nähden. Kattavamman sivuston koodia ja siten ulkonäköä ja toiminnallisuuksia vaihtelevan testauksen mahdollistavien työkalujen käyttöönotto tulisi tuoda esiin jo uutta järjestelmää suunniteltaessa, tai nykyiseen alustaan tehtäviin muutoksiin tulisi hakea kattavampaa hyväksyntää jo huomattavasti etukäteen. Muutosten hitaus yhdistettynä arvioon, että niiden vaikutus olisi jo ennustettavasti huomattavasti marginaalisempi kuin käyttäjäpolun kriittisimpään pudotukseen, eli viestin avaamiseen sen otsikkoa klikkaamalla, pureutuminen aiheutti niiden poisrajauksen projektista.