Jag berättade tidigare att jag jobbade med nya algoritmer för hur jag väljer ut produkter för framsidan på Roliga Prylar. Jag har nu kört parallella tester med dessa i nästan två månader och tänkte dela med mig av resultaten och lärdomarna jag dragit.
Mitt e-handelssystem fungerar som så att när du besöker butiken första gången sätts en cookie som heter first_visit och har en utgångstid på 7 dygn. Jag kan styra vilken algoritm besökaren ser på framsidan baserat på om det är en förstagångsbesökare eller om han är återkommande. Just detta testet gick ut på att ta reda på vilken av mina algoritmer som gav bäst resultat för nya besökare. Alla återkommande besökare fick se produkterna baserat på tilläggsdatum med nyaste produkterna överst.
Mitt system hanterar oändligt med konfigurationer av webbutiken. I dessa konfigurationer styrs all layout, betalsätt, fraktalgoritmer och liknande. När du som förstagångsbesökare kommer till butiken sätts en cookie (utan expirytime) med den konfiguration du fått dig tilldelad (om flera konfigurationer är aktiva samtidigt slumpas den fram och det är då A/B-testet genereras).
Ett misstag jag gjorde här var att jag behöll min aktuella ”standardkonfiguration” som kördes ensam innan A/B-testet pÃ¥börjades och ersatte inte den med en ny identisk konfiguration. Detta gjorde att alla Ã¥terkommande besökare som hade kvar cookien frÃ¥n tidigare besök fick se denna standardkonfiguration. Eftersom dessa kunder var trogna och Ã¥terkommande besökare sÃ¥ hade de sÃ¥klart automatiskt högre konvertering än en ny kund som fÃ¥tt denna konfiguration framslumpad bland alla. Därför fick jag sÃ¥klart lägga till denna konfiguration pÃ¥ nytt, men med ett nytt ID-nummer sÃ¥ att den inte skulle överrensstämma med satta cookies.
Vilka algoritmer jämfördes då?`
- Tilläggsdatum
Den enklaste algoritmen som bara visar produkterna i tilläggsdatum med de nyaste först. - Visningar
Ranking baserat på unika visningar av varje produkt. Någon form av popularitetsalgoritm. - Produkt till kundvagns-konvertering
Beräknar procentuell andel av produktvisningar som leder till att produkten läggs i kundvagnen och rankar utifrån detta. - Kundvagnskonvertering total
Beräknar hur ofta en produkt lagts i kundvagnen totalt och rankar baserat från detta. - Orderkonvertering baserat på produktvisningar
Räknar ut hur många orders som har lagts med produkten jämfört med hur många gånger den har visats. - Ordrar per produkt
Hur många ordrar har vi fått med denna produkt totalt. - Omsättning per exponering (ej mätt pga klanteri)
Försäljningsintäkt per unik exponering av produktsida. - Vinst per exponering
Vinst per exponering av produktsida.
Så hur gick det då?
Inte helt oväntat presterade min ”gamla” konfiguration bäst eftersom den täckte in alla Ã¥terkommande kunder i början av testet. Bland de andra konfigurationerna fanns det olika mätvärden att utvärdera. Det är inte sÃ¥ lätt att man bara kan mäta konvertering, dÃ¥ det trots allt är pengar i kassan i form av vinst som är viktigt. Som tur är mäter mitt system bÃ¥de snittordervärde, konvertering, omsättning och vinst per konfiguration och resultatet blev sÃ¥här.
Klicka på bilden för att se diagrammet i fullstorlek.
Vad betyder detta då?
Jo, kör man bara på min tidigare konfiguration att visa de nyaste produkterna för alla nya besökare så kan jag gå miste om en massa pengar. Både omsättning och vinst i kronor per besökare är som högst när jag visar produkterna som har högst vinst i form av lagda ordrar per produktvisning. Dessutom är konverteringen också högst i denna konfiguration, vilket gör att den leder till mest kunder tillagda i kundbasen som kan bli återkommande besökare och kan bearbetas med nyhetsbrev osv.
Skillnaden kanske ser liten ut, men ökningen i omsättning är faktiskt 25% jämfört med mitt gamla upplägg. Ökningen i vinst per besökare är faktiskt lite lägre på runt 23%.
Möjliga problem
Det kan mycket möjligt vara så att jag har för lite data för att få tillförlitliga värden, men jag tycker trenden ser ganska tydlig ut. Dock skulle jag behöva göra ett test även med omsättning per exponering, så det är nästa grej. Jag tänkte även testa att jämföra de olika konfigurationerna för återkommande besökare. Vad tror ni om det?
Kan du komma på en intressant algoritm som jag ej testat men som jag borde testat?
Jobb på Ehandel.se