Sådan ved du hvornår din splittest er færdig

Se næste videoguide
Sådan finder du ud af, inden igangsætning, hvor lang tid din splittest skal køre

Transskribering
Hej, mit navn er Mogens Møller. Jeg vil i denne video vise dig, hvordan du ved hvornår din splittest er færdig.

Det vil jeg gøre med splittest-værktøjet Visual Website Optimizer.

Når du split-tester, er det rigtig godt, at du har nogenlunde styr på hvornår du ligesom skal stoppe din test. Hvornår du kan se ud fra dine tal, hvornår du har valide resultater.

Heldigvis har Visual Website Optimizer lavet et rigtig godt system som hjælper dig langt hen ad vejen. Men det er stadig vigtigt, at du har din sunde fornuft med dig, når du skal beslutte, om du skal stoppe din test, eller lade den køre.

Godt. Lad os tage et eksempel. Her har vi en splittest fra en kunde jeg har kørt, og jeg vil lige prøve at gå de enkelte igennem her på siden.

Det man selvfølgelig allerførst skal kigge i testresultaterne efter, er de to kolonner hernede, hvor man lige prøver at ser; har vi et positivt eller negativt resultat? Og, hvor stor sandsynlighed siger systemet der er, for at den nye version vil performe bedre eller dårligere end den originale.

Det er typisk de her to tal du vil gå ned og kigge mest på. Men nu vil jeg lige prøve og tage dem fra en ende af.

I den første kolonne herover har vi konverteringsraten. Her kan vi se, at den her test vi kører her, og som bare lige for info, er en test af en tekst på call-to-action – altså en knap her, hvor der står at man kan bestille et tilbud, og på den nye her står der ”Få tilbud nu”. Et eller andet i den retning.

I denne test har vi altså den originale, der har en forventet konverteringsrate på 19,18 %, og den nye version har en forventet konverteringsrate på 28,48 %.

Så har vi et lille tal ved siden, som det er meget vigtigt du lægger mærke til. Det er det, der hedder standardafvigelse. Det, det betyder, der er, at systemet fortæller dig, at vi forventer at konverteringsraten er 19,18 % +/- 4 %. Så den kan variere væsentligt fra det tal der står her. Det vil sige i dette tilfælde vil konverteringsraten faktisk være fra 15,18 % til 23,18 %.

Hvis vi tager den nye version her, kan den faktisk variere fra 24,48 % til 32,48 %. Og i starten af den splittest vil standardafvigelsen være forholdsvis høj. Indtil du får tilpas mange besøg og konverteringer på. Så det er meget vigtigt, at du har det her i baghovedet, at selv om de her tal er langt fra hinanden, så kan
den altså være sådan, at denne her kommer til at ligge omkring 23,18 %, mens denne her kommer til at ligge omkring 24 %. Det er faktisk nogle helt andre forbedringer vi snakker om her.

Godt, så har vi her ved siden af en lidt mere visuel visning af disse konverteringsrater. Her får du så også de spænd, vi her snakker om, hvis du kører musen henover. Så kan du på denne måde se, hvis du ikke lige vil sidde og lægge til og trække fra her.

Så har vi kolonnen her, som er den forventede bedring vi kan se i procent. Og her siger systemet, at den forventer, at den nye version konverterer 48,53 % bedre end den originale. Det er jo en ganske god forbedring som vi har med at gøre her.

Så har vi en kolonne her, som ligesom fortæller, hvor stor sandsynlighed systemet ligesom vurderer der er for at den nye version ligesom konverterer bedre end den gamle.

Her vurderer systemet, at der er 97 % sandsynlighed for, at min nye version konverterer bedre end kontrollen.

Som tommelfingerregel vil jeg sige sådan. Når denne her 95 % eller derover, vil du typisk godt kunne stoppe din test. Så bør den være så sikker, at du godt kan stoppe den og kåre en vinder og få testet noget andet.

Er den under 95 % så bør du fortsætte testen, eller gør det at du siger, at der ikke er nogen vinder af testen, at du ikke konkluderer noget sikkert, og på den måde ligesom får testet noget andet.

Endelig til sidst herovre har vi antal konverteringer og antal besøgende. I dette her tilfælde, vi kan se her, er der en ret god sandsynlighed for, at den nye version konverterer bedre end den gamle.

Hvis vi prøver lige at gå herop, og ændre dato-intervallet, og så sig: vi stoppede testen, for eksempel den 9. december, i stedet for den 17. Lad os lige prøve at kigge på tallene her.

Her ser tallene så væsentligt anderledes ud. Her var vores standardafvigelse 6 %, altså plus/minus 6 %. Her kunne det så tidligt i fasen godt være, at kontrollen konverterede bedre, end den nye version her.

Så det her vil være for tidligt et tidspunkt at konvertere noget. Jeg har ofte set i mange splittests, at så tidligt i fasen der kan det sagtens være, at de hopper frem og tilbage, hvem der egentlig klarer sig bedst. Her er det også vigtigt, at du holder øje med denne her graf der er oppe i toppen, hvor du kan se, at de to testvarianter i hvert tilfælde i starten har hoppet lidt frem og tilbage hvem der har konverteret bedst. Her kunne det sagtens være i denne test, at den grønne version, at kontrollen var hoppet og havde konverteret bedre end den nye.

Du skal være forsigtig med at konkludere for meget her i starten af testen.

Men som sagt, fik vi her kørt den lidt længere, og får også her en graf, der ser ud på den her måde. Og når du har en graf her, hvor du kan se over en lidt længere periode, som er forholdsvis stabil, som holder næsten den samme afstand på de to grafer hele vejen her, så siger det også noget om, at du kan være forholdsvis sikker på, at resultatet er sikkert.

Til allersidst: to tommelfingerregler, jeg har nævnt den ene. Stop helst ikke din test før du har 95 % sandsynlighed eller derover. Og så skal du helst også køre din test i minimum 7 dage. Det er for ligesom at undgå at drage nogle for drastiske konklusioner. Den første uges tid kan man godt tænke, at der er en kæmpe konverteringsforskel. Og der må man lige have is i maven og køre minimum 7 dage.

Jeg håber du fik lidt ud af min case her. Rigtig god fornøjelse med dine splittests.

VN:F [1.9.22_1171]
Rating: 9.7/10 (3 votes cast)
Sådan ved du hvornår din splittest er færdig, 9.7 out of 10 based on 3 ratings

Skriv et svar

Din e-mailadresse vil ikke blive publiceret. Krævede felter er markeret med *