Jeg lavede i tirsdags en gættekonkurrence om det konverterer bedre at vise Trustpilot anmeldelser eller egne kundeanmeldelser på webshoppen www.billigsport24.dk.
Her er resultatet:
Resultat
Versionen med Trustpilot kundeanmeldelser uden link til billigsport24.dk’s Trustpilot profil konverterede altså 6,91% bedre end versionen uden nogen kundeanmeldelser.
Det ser samtidig ud til, at versionen med Trustpilot anmeldelser også konverterer bedre end versionen med egne anmeldelser uden noget Trustpilot logo.
Interessant er det også, at versionen med Trustpilot anmeldelser inkl. link til Trustpilot tilsyneladende konverterer dårligere end både version med Trustpilot uden link og versionen med egne kundeanmeldelser.
Hvad er resultatet på nye vs. tilbagevendende besøgende?
Da jeg lavede denne splittest integrerede jeg den samtidig med kundens Google Analytics. Det betyder, jeg kan grave endnu dybere og se, om der er forskel på nye besøgende vs. tilbagevendende besøgende.
Der viste sig flere spændende tal:
Nye besøgende
- Trustpilot uden link: +2,80%
- Trustpilot med link: -7,12%
- Kundeanmeldelser uden Trustpilot: -9,01%
Tilbagevendende besøgende
- Trustpilot uden link: +10,19%
- Trustpilot med link: +10,69%
- Kundeanmeldelser uden Trustpilot: +19,19%
Hvad siger tallene?
- Kundeanmeldelser generelt har størst positiv effekt på tilbagevendende besøgende. Dette er stik imod mine forventninger inden testen.
- Kundeanmelderne uden Trustpilot konverterer elendigt til nye besøgende. Måske fordi nye besøgende tror, at webshoppen selv har fundet på disse anmeldelser.
- Til gengæld sparker kundeanmeldelserne uden Trustpilot røv overfor tilbagevendende besøgende. Muligvis fordi den besøgende allerede har erfaring med webshoppen og dermed har en vis portion tillid til webshoppen, men så blot bliver bekræftet via disse kundeanmeldelser.
- Trustpilot med link konverterer dårligt for nye besøgende. Måske fordi de nye besøgende klikker på linket, kommer ind på Trustpilot og muligvis bliver forstyrret eller glemmer de var i gang med en bestilling.
Dejligt at være en af vinderne 🙂
Men jeg savner lidt information om den statistiske signifikans.
Hvor mange besøgende drejer det sig om?
Kører I testen igen, men med modsat fortegn – altså bruger C som det nye udgangspunkt og tester at de andre faktisk performer ringere?
Hej Claus
Der har været 5,352 besøgende i tjekud-flowet i testperioden.
Nej, vi kører ikke testen igen, da vi jo har et statistisk signifikant resultat. Men vi tester til gengæld på nogle andre ting bl.a. E-mærket 🙂
Jeg har aldrig været i tvivl om, at Trustpilot er en god ide. For mig er spørgsmålet: Hvordan får man kunder til at bruge Trustpilot, uden at de føler sig presset til det, når man ikke driver webshop, men sender kunder en faktura? En overgang opfordrede jeg rutinemæssigt til det, men fik – selvom kunden allerede havde meldt positivt tilbage til mig per e-mail – mange tilbagemeldinger af typen: Jeg har ikke lige tid, vil meget gerne senere – der som regel ikke blev fulgt op af handling. Det var jo ikke meningen.
Hej Louise
Skal skynde mig at sige, at jeg arbejder hos Trustpilot.
Hvordan du bedst indsamler anmeldelser, afhænger meget af din forretnings situation: Hvilken vare/service sælger du? Hvornår har dine kunder tilstrækkeligt med erfaring til at anmelde din virksomhed? Hvor lang tid går der, fra de har handlet til du inviterer dem? Hvad beder du helt præcist dine kunder om at gøre, når du inviterer dem til at anmelde?
Ligesom med splittests handler det somme tider om at prøve sig frem og finde ud af, hvad der virker bedst.
Hmm.. er det ikke lidt som med Ekstra Bladet undersøgelser.
5,352 besøgende, er det virkeligt “nok” til at give et helhedsindtryk?
Fint du undersøger sagen, det er et utroligt interessant spørgsmål som jeg mener Morten V. (Kondomat / Politi Morten) har stillet og besvaret før (omend i anden sammenhæng) og i øvrigt med en helt anden konklusion (mener jeg).
Kør testen i en længere periode og kom endelig med resultatet til den tid.
Vil se frem til det.
Vh Dennis
Hej Dennis
Tak for dit svar.
Der er ingen grund til at køre testen længere når jeg har et statistisk signifikant resultat. Jeg er tilfreds med, at version C i 98% af tilfældende vil konvertere bedre end originalen.
Jeg kunne godt fortsætte splittesten og højst sandsynligt få 100% sikkerhed om nogle uger. Men det vil samtidig betyde, at jeg og kunden ikke kan teste andre ting i tjekud-flowet.
Nogle gang er f.eks. 500 besøgende nok til at give et statistisk signifikant resultat. Det afhænger bl.a. af konverteringsraten og hvor stor forskel der er på testvarianterne.
Se evt. Michael Aagaards video, hvor han faktisk forklarer det rigtig fint: http://contentverve.com/how-to-determine-statistical-significance-ab-test/
Mange tak for de fine link Mogens! Har ikke stødt på det tidligere.
Dog hæfter jeg ved en ting han siger:
So – how large a sample do you need in order to achieve significance? Well, in theory you can’t define that number. It depends completely on the individual test. But as a rule of thumb, you can say that the bigger the difference in performance is between the 2 variations – the smaller a sample size you will need in order to a reliable result. And vice versa. So with a dramatic difference in performance, you’ll need a smaller sample, and with a minor difference in performance, you’ll need a larger sample.
In my experience, a lot can happen within the first 100 conversions. So my rule of thumb is to get at least 100 conversions – conversions not visits – before I conclude anything
Ja, Michael beskriver det rigtig fint.
I dette tilfælde skulle der så over 1000 konverteringer til før der var et signifikant resultat. Som han siger afhænger det meget af forskellene på varianterne.
Jeg må holde med Dennis Pilgaard, det her ville jeg teste i mindst 2 uger per variant. Det er så typisk utålmodigt og moderne/naivt ikke at bruge 8 uger på den specikke optimering hvis den giver 6, 9 % det betyder jo ikke at man skal sidde på sine hænder, der er jo altid ting at gøre som webshop ejer 🙂
Hej Dennis
Tak for din kommentar.
Jeg erindrer ikke jeg har skrevet noget sted, hvor lang tid splittesten har kørt?
Herudover giver det, i mine øjne, ingen mening at fortsætte en splittest i 8 uger, hvis der er et statistisk signifikant resultat efter f.eks. 1-2 uger. Det opfatter jeg ikke som “moderne/naivt”, men tværtimod som god købmandsskab.
Men jeg lærer også nye ting hver dag, så hvis du har gode argumenter for, at jeg skal fortsætte sådan en splittest i 8 uger, hører jeg dem meget gerne.
I version D – den med link til TrustPilot – var linket da lavet så det åbnede i et nyt vindue – eller i det samme browservindue?
Hej Bjarne
Det åbnede i et nyt vindue.
Hermed læst igen for at genopfriske resultatet:-) Meget relevant test – Godt indlæg.
René Bygballe
Salg/markering
Jydsk Emblem Fabrik A/S | http://www.jef.dk
Sportpræmier – emblemer – navneskilte – reklameartikler
Super god test. Det er virkeligt noget man kan bruge til noget.
Men måske man skulle prøve at lave en ny for at se om talende har ændret sig på det sidste års tid. Men tak for en super test.
Fed test og artikel, selvom den jo er over et år gammel, mens jeg skriver dette. ‘TrustPilot uden link’. Det skal jeg huske. Tak for det!
Super god test af Trustpilot.
Nogle gange er det svært at forklare trustpilots reelle værdi. Dette blogindlæg kan hjælpe mig i min argumentation for at mine kunder skal have trustpilot, det sætter jeg pris på.
Jeg kom til at overveje, hvorvidt kilden til informationen om en besøgende er ny eller tilbagevendende er baseret på Google Analytics oplysninger?
Ib: Så vidt jeg ved er det baseret på Google Analytics informationer.
Når man så medregner, at omkring 20-30% af alle besøgende sletter deres cookies, eller af anden grund ikke bliver registreret som tilbagevendende, når de vender tilbage, får man lyst til slet ikke at vise nogen anmeldelser til nye besøgende.
tak så meget for denne artikel meget informativ og detaljeret. Jeg venter på en anden publikation