Palvelut Konversio-optimointi (CRO), kasvata myyntiä olemassa olevalla liikenteellä

A/B-testaus, selvitä datalla, mikä oikeasti toimii

A/B-testaus on tilastollinen menetelmä, jolla selvitetään mikä yksittäinen muutos verkkosivulla parantaa konversiota, ja mikä ei. Mielipiteet korvataan datalla. Hyvin tehty A/B-testaus parantaa konversiota tyypillisesti 15–40 % per voittava testi. Rakennan testit, mittaan tilastollisesti ja toteutan voittavat muutokset.

Kirjoittaja: Sampsa Vainio 7 min lukuaika Julkaistu: Päivitetty:

Mitä A/B-testaus on?

A/B-testaus on menetelmä, jossa kahdesta tai useammasta sivun versiosta selvitetään mikä tuottaa paremman lopputuloksen. Käyttäjät jaetaan satunnaisesti ryhmiin, jokainen näkee oman version, ja tulokset (konversiot, klikit, ostot) verrataan tilastollisesti.

A/B-testauksen voima on tilastollinen tarkkuus, eli pystyt sanomaan ”tämä muutos paransi konversiota 23 % todennäköisyydellä 95 %”, ei vain ”tämä versio näyttää paremmalta”.

A/B-testaus on osa laajempaa konversio-optimointipalveluani ja yksittäinen tärkein työkalu CRO-prosessin pohjana.

Miksi testaaminen kannattaa?

Yritykset, jotka käyttävät A/B-testausta säännöllisesti, saavuttavat tyypillisesti 30 % parempaa konversiota verrattuna yrityksiin, jotka tekevät päätökset pelkän mielipiteen pohjalta.

Syyt:

  1. Mielipiteet ovat usein vääriä. Tutkimusten mukaan jopa 80 % ”varmasti toimivista” muutoksista ei tuota odotettua tulosta tai jopa heikentää konversiota.

  2. Pienet muutokset voivat tuoda suuria voittoja. Otsikon, napin tekstin tai lomakkeen pituuden muuttaminen voi nostaa konversion 30–60 %.

  3. Testaaminen pakottaa hypoteesiajatteluun. Sen sijaan että muuttaa kaiken kerralla, mitataan yksi asia ja opitaan siitä.

  4. Tilastollinen merkittävyys vähentää väärää päättelyä. ”Tämä versio voitti 1,5 %:lla” voi olla sattumaa, tilastollisesti merkittävä testi sulkee sattuman pois.

Mikä on tilastollinen merkitsevyys?

Tilastollinen merkitsevyys (statistical significance) tarkoittaa luottamusta siihen, että havaittu ero ei ole sattumaa.

Yleinen rajaa on 95 % luottamustaso. Kun A/B-työkalu sanoo ”Variantin B konversio on 22 % parempi, p-arvo 0,03 (95 % luottamustaso)”, se tarkoittaa: ”Todennäköisyys, että tämä ero on sattumaa, on alle 5 %.”

Yleisin virhe A/B-testauksessa on testin lopettaminen liian aikaisin, ennen kuin tilastollinen merkittävyys on saavutettu. Testi jossa konversio ”näyttää paremmalta” päivän kahden jälkeen voi todellisuudessa olla satunnaisvaihtelua.

Kuinka kauan A/B-testiä pitää ajaa?

Vähintään 2 viikkoa, mieluiten 4 viikkoa. Syyt:

  • Kausivaihtelu, viikonloput ja arkipäivät käyttäytyvät eri tavalla
  • Käyttäjätyyppien sekoittuminen, eri lähteistä (Google, Some, sähköposti) tulevat käyttäytyvät eri tavalla
  • Tilastolinen merkittävyys, useimmat testit vaativat 1 000–5 000 konversiota per variantti tilastollisen luotettavuuden saavuttamiseen

Lyhyemmät testit (alle 7 päivää) kärsivät ”novelty effect” -ilmiöstä, uusi versio voi näyttää paremmalta vain siksi, että se on uusi.

Kuinka paljon liikennettä A/B-testaukseen tarvitaan?

Konversioprosentti Vaadittu kävijää testivaihtoehto / kk
5 % 8 000+
2 % 25 000+
1 % 60 000+
0,5 % 150 000+

Pienempiä volyymejä voi testata, mutta odotettu testiaika kasvaa nopeasti. Sivuston, jolla on alle 5 000 kävijää / kk, kannattaa keskittyä kvalitatiiviseen tutkimukseen (Hotjar, käyttäjätestit) ja ”ennen / jälkeen” -mittaukseen sen sijaan, että odottaa tilastollista A/B-testin valmistumista.

A/B-testin viisi peruspilaria

1. Tavoitteen määrittäminen

Mitä haluat parantaa? Yksi pääkonversio per testi. Toissijaiset mittarit voi seurata, mutta päätös tehdään päätavoitteen perusteella.

2. Pullonkaulojen löytäminen

Datapohjainen valinta siitä, mitä testata. Käytän:

  • Google Analytics 4, tunnista ostotie-vaiheet, joilla suurin pudotus
  • Hotjar / Microsoft Clarity, heat maps, session recordings
  • Lomakeanalytiikka, mistä kentästä käyttäjät hyppäävät
  • Käyttäjäkyselyt, mitä he ovat etsineet, mitä eivät löytäneet

3. Hypoteesin muodostaminen

Hypoteesi on ennuste muutoksen vaikutuksesta:

Jos lyhennämme yhteydenottolomakkeen 8 kentästä 4 kenttään, lomakkeen täyttöprosentti nousee 35 %, koska kentttien määrä on yleisin syy lomakkeen hylkäämiselle.

4. Priorisointi

Useita hypoteeseja kerrallaan ei voi testata. Priorisointi käyttää PIE- tai ICE-mallia:

  • P / Iotential, kuinka iso vaikutus
  • Importance, kuinka tärkeä mittarille
  • Ease, kuinka helppo toteuttaa

Lasketaan score → suurin score testataan ensin.

5. Testin suorittaminen ja tulkinta

  • Liikenne jaetaan satunnaisesti A:han ja B:hen
  • Mittaus 2–4 viikkoa
  • Tilastollinen tarkistus (95 % luottamustaso)
  • Voittaja toteutetaan, häviäjä unohdetaan
  • Dokumentointi: hypoteesi, asetukset, tulos, oppi

Mitä kannattaa testata?

Suurimmat voitot tulevat tyypillisesti näistä:

Arvolupaus ja otsikot

Etusivun ja laskeutumissivun otsikot ovat ensimmäinen asia, joka näkyy. Lyhyt, konkreettinen, hyödytkorostava otsikko voi parantaa konversiota 30–80 %. Lue arvolupaus (blogi).

Painikkeiden tekstit ja sijoittelu

”Lähetä” vs. ”Pyydä tarjous” vs. ”Varaa maksuton kartoitus”, sanavalinta vaikuttaa rajusti. Toiminnolähtöinen tekstit (”Aloita ilmainen kokeilu”) voittavat tyypillisesti geneeriset (”Lähetä”).

Tuotekuvat ja visuaalit

Verkkokaupoissa tuotekuvat ovat kriittinen konversio-tekijä. Useita kuvia, eri kulmista, suurempi koko, kaikki testattavissa.

Lomakkeen kentttien määrä

Yleinen sääntö: jokainen lisäkenttä laskee konversiota 5–11 %. Kysy vain mitä todella tarvitset.

Sisällön jäsentely ja luettavuus

Tekstin pituus, otsikoiden määrä, listat vs. proosa, kuvitus.

Mainosten viestit ja laskeutumissivut

Mainoksen ja laskeutumissivun viestitäsmäys vaikuttaa Quality Scoreen, CPC:hen ja konversioon.

Sivun rakenne ja flow

Yhden sivun pituus, osioiden järjestys, yhteydenottopolku.

Hinnan esittäminen

Yksikköhinnat vs. pakettihinnat, ”alkaen” vs. tarkka hinta, kuukausi vs. vuosi -hinnoittelu.

Mitä A/B-testaus ei mittaa

A/B-testaus mittaa lyhyen aikavälin konversiomuutoksia, ei brändivaikutuksia, ei käyttäjän pitkäaikaista arvoa.

Esimerkki: jos muutos lisää tilauksia 20 %, mutta asiakaspalautukset nousevat 30 %, A/B-testi näyttää voiton, vaikka todellinen nettovaikutus on tappio. Tämän vuoksi A/B-testin lisäksi pitää seurata pitkän aikavälin mittareita (LTV, churn, asiakastyytyväisyys).

Hyvä CRO-prosessi yhdistää A/B-testauksen + pitkän aikavälin tarkkailun + kvalitatiiviset menetelmät (käyttäjätestit, kyselyt).

Yleisimmät virheet A/B-testauksessa

  1. Testin lopettaminen ennen tilastollista merkittävyyttä, sattuman tulkinta voitoksi
  2. Liian monta muutosta yhdellä kertaa, ei tiedetä, mikä vaikutti
  3. Liian pieni liikennevolyymi, testi ei pääse tilastolliseen tarkkuuteen
  4. Hypoteesi puuttuu, testattu ”vain koska”
  5. Pelkkä konversio-mittaus, pitkän aikavälin vaikutuksia ei seurata
  6. Konversioseuranta vialla, itse testi mittaa väärin
  7. Sesonkien huomiointi, testi alkaa hiljaisena viikkona, päättyy vilkkaana
  8. Ulkoiset muutokset testin aikana, uusi mainoskampanja, sesonki, kilpailijatoimet
  9. Voittaja jätetään toteuttamatta, tehdään testi mutta uutta versiota ei oteta käyttöön
  10. Häviäjien analysoimatta jättäminen, opit menetetään, jos vain ”voittaja” julkaistaan

Mitä työkaluja A/B-testaukseen käytetään?

Suosittelen näitä:

  • VWO (Visual Website Optimizer), yleisin Suomessa, helppokäyttöinen (VWO-työkalusivu)
  • Optimizely, enterprise-luokka, monimutkaiset testit
  • Convert, kustannustehokas, hyvät analytiikkaominaisuudet
  • AB Tasty, eurooppalainen, GDPR-ystävällinen
  • Google Optimize, EI ENÄÄ KÄYTÖSSÄ (Google lakkautti 2023)

Pieneen volyymiin riittää usein suora ”ennen / jälkeen” -mittaus Google Analytics 4:llä, ei välttämättä erillistä A/B-työkalua.

Esimerkki, voittava A/B-testi

Eräs B2B-asiakastoimeksianto:

Hypoteesi: Lomakkeen pituuden lyhentäminen 8 kenttää → 4 kenttää nostaa lomakkeen täyttöprosentin 30 %.

Asetukset:

  • A: Olemassa oleva 8-kentttäinen lomake
  • B: 4-kentttäinen lomake (nimi, sähköposti, puhelinnumero, viesti)
  • 50/50-jako, mittaus 4 viikkoa

Tulos:

  • A: 4,2 % konversio
  • B: 7,1 % konversio
  • Parannus: +69 %, p-arvo 0,002 (99 % luottamustaso)

Sivuvaikutus: Liidi-laatu pysyi samana, myyntitiimi pystyi keräämään puuttuvat tiedot kvalifiointipuhelussa. Pitkän aikavälin mittaus 6 kuukautta vahvisti, että sulkeutuneet kaupat eivät pudonneet.

Hinta

A/B-testaus on osa konversio-optimointi-palveluani. Erilliset paketit:

Skenaario Hinta Kesto
Yksittäinen A/B-testi (suunnittelu + toteutus + tulos) 800–1 800 € 4–6 viikkoa
Jatkuva A/B-testaus (yleisin) 1 200–3 000 € / kk jatkuva
Enterprise / monimutkainen testimatriisi sopimuksen mukaan kuten sovittu

Hinta sisältää suunnittelun, toteutuksen, mittauksen ja voittajan toteuttamisen.

Usein kysytyt kysymykset

Mitä eroa on A/B-testauksella ja multivariate-testillä?

A/B-testaus vertaa kahta versiota, joista jokaisessa on yksi muutos. Multivariate (MVT) vertaa useita muuttujia samanaikaisesti (esim. otsikko × kuva × nappi-väri = 8 yhdistelmää). MVT vaatii paljon enemmän liikennettä ja sopii vain suurelle sivustolle.

Voinko itse tehdä A/B-testauksia?

Voit, jos sinulla on perustason ymmärrys tilastollisesta merkittävyydestä, kärsivällisyyttä odottaa testin loppuunsaattamista ja kykyä tulkita tuloksia. Useimmat omakohtaiset testit kärsivät yhdestä yleisistä virheistä (yllä).

Tarvitseeko maksullisen työkalun?

Ei välttämättä. Pieni sivusto (alle 10 000 kävijää / kk) voi tehdä ”ennen / jälkeen” -mittausta GA4:llä. Suurempi sivusto hyötyy aidosta A/B-työkalusta tilastolliseen tarkkuuteen.

Mitä jos kaikki A/B-testit häviävät?

Tämä on tavallista, useimmat hypoteesit ovat vääriä. Jokainen häviävä testi on oppi siitä, mikä ei toimi. Tärkeintä on dokumentoida ja jatkaa.

Voiko A/B-testaus vahingoittaa SEO:ta?

Yleensä ei, jos noudattaa parhaita käytäntöjä: ei tee ”cloakingia” (eri sisältö Googlelle vs. käyttäjälle), käytetään rel="canonical" -tageja oikein ja redirektit ovat 302 (väliaikaisia), ei 301. Lue tekninen SEO -palvelusivu yhteyksistä.

Yhteenveto

A/B-testaus on konversio-optimoinnin tarkin työkalu. Se korvaa mielipiteet datalla ja tuottaa päätöksiä, joihin voit luottaa. Mutta se ei ole oikotieparannuksiin, vaatii liikennettä, kärsivällisyyttä ja systemaattista hypoteesiajattelua.

Pienille sivustoille suosittelen kvalitatiivista tutkimusta + ennen/jälkeen-mittausta. Suuremmille sivustoille jatkuvaa A/B-testausprosessia.

Pyydä tarjous A/B-testauksesta →

Haluatko, että teen tämän puolestasi?

Varaa maksuton kartoitus, niin käydään läpi tavoitteesi ja valitaan sinulle sopivin tapa edetä.

Kirjoittaja

Sampsa Vainio

Helsinkiläinen digimarkkinoinnin asiantuntija ja Digily Oy:n perustaja. Olen työskennellyt digitaalisen markkinoinnin parissa yli 12 vuotta ja konsultoinut verkkonäkyvyyttä yli 100 yritykselle Suomessa ja kansainvälisesti. Koulutukseltani olen KTM (Åbo Akademi, 2014), pääaineena tietojärjestelmätiede.