Resultatet av mina A/B-tester

Jag berättade tidigare att jag jobbade med nya algoritmer för hur jag väljer ut produkter för framsidan på Roliga Prylar. Jag har nu kört parallella tester med dessa i nästan två månader och tänkte dela med mig av resultaten och lärdomarna jag dragit.

Mitt e-handelssystem fungerar som så att när du besöker butiken första gången sätts en cookie som heter first_visit och har en utgångstid på 7 dygn. Jag kan styra vilken algoritm besökaren ser på framsidan baserat på om det är en förstagångsbesökare eller om han är återkommande. Just detta testet gick ut på att ta reda på vilken av mina algoritmer som gav bäst resultat för nya besökare. Alla återkommande besökare fick se produkterna baserat på tilläggsdatum med nyaste produkterna överst.

Mitt system hanterar oändligt med konfigurationer av webbutiken. I dessa konfigurationer styrs all layout, betalsätt, fraktalgoritmer och liknande. När du som förstagångsbesökare kommer till butiken sätts en cookie (utan expirytime) med den konfiguration du fått dig tilldelad (om flera konfigurationer är aktiva samtidigt slumpas den fram och det är då A/B-testet genereras).

Ett misstag jag gjorde här var att jag behöll min aktuella ”standardkonfiguration” som kördes ensam innan A/B-testet påbörjades och ersatte inte den med en ny identisk konfiguration. Detta gjorde att alla återkommande besökare som hade kvar cookien från tidigare besök fick se denna standardkonfiguration. Eftersom dessa kunder var trogna och återkommande besökare så hade de såklart automatiskt högre konvertering än en ny kund som fått denna konfiguration framslumpad bland alla. Därför fick jag såklart lägga till denna konfiguration på nytt, men med ett nytt ID-nummer så att den inte skulle överrensstämma med satta cookies.

Vilka algoritmer jämfördes då?`

  1. Tilläggsdatum
    Den enklaste algoritmen som bara visar produkterna i tilläggsdatum med de nyaste först.
  2. Visningar
    Ranking baserat på unika visningar av varje produkt. Någon form av popularitetsalgoritm.
  3. Produkt till kundvagns-konvertering
    Beräknar procentuell andel av produktvisningar som leder till att produkten läggs i kundvagnen och rankar utifrån detta.
  4. Kundvagnskonvertering total
    Beräknar hur ofta en produkt lagts i kundvagnen totalt och rankar baserat från detta.
  5. Orderkonvertering baserat på produktvisningar
    Räknar ut hur många orders som har lagts med produkten jämfört med hur många gånger den har visats.
  6. Ordrar per produkt
    Hur många ordrar har vi fått med denna produkt totalt.
  7. Omsättning per exponering (ej mätt pga klanteri)
    Försäljningsintäkt per unik exponering av produktsida.
  8. Vinst per exponering
    Vinst per exponering av produktsida.

Så hur gick det då?

Inte helt oväntat presterade min ”gamla” konfiguration bäst eftersom den täckte in alla återkommande kunder i början av testet. Bland de andra konfigurationerna fanns det olika mätvärden att utvärdera. Det är inte så lätt att man bara kan mäta konvertering, då det trots allt är pengar i kassan i form av vinst som är viktigt. Som tur är mäter mitt system både snittordervärde, konvertering, omsättning och vinst per konfiguration och resultatet blev såhär.

diagram
Klicka på bilden för att se diagrammet i fullstorlek.

Vad betyder detta då?

Jo, kör man bara på min tidigare konfiguration att visa de nyaste produkterna för alla nya besökare så kan jag gå miste om en massa pengar. Både omsättning och vinst i kronor per besökare är som högst när jag visar produkterna som har högst vinst i form av lagda ordrar per produktvisning. Dessutom är konverteringen också högst i denna konfiguration, vilket gör att den leder till mest kunder tillagda i kundbasen som kan bli återkommande besökare och kan bearbetas med nyhetsbrev osv.

Skillnaden kanske ser liten ut, men ökningen i omsättning är faktiskt 25% jämfört med mitt gamla upplägg. Ökningen i vinst per besökare är faktiskt lite lägre på runt 23%.

Möjliga problem

Det kan mycket möjligt vara så att jag har för lite data för att få tillförlitliga värden, men jag tycker trenden ser ganska tydlig ut. Dock skulle jag behöva göra ett test även med omsättning per exponering, så det är nästa grej. Jag tänkte även testa att jämföra de olika konfigurationerna för återkommande besökare. Vad tror ni om det?

Kan du komma på en intressant algoritm som jag ej testat men som jag borde testat?