conversion 2016 - roel willems - eliminate the guess work: van quick fix naar structureel succes
TRANSCRIPT
ELIMINATE THE GUESS WORKvan quick fix naar structureel succes
ROEL WILLEMS
10+ jaar - digital analytics & conversie optimalisatie
Current: Senior Digital Analyst, Conversion optimization specialist - Ahold
Former: Consultant / Product manager analytics conversion - OrangeValley
consumer behaviour from a data perspective
ELIMINATE THE GUESS WORK
➤ Start van een conversie optimalisatie optimalisatie
➤ Ontwikkeling van een conversie traject
➤ Van quick fix naar structureel succes
➤ 3 key principes
START VAN EEN CONVERSIE TRAJECT
WAAROM OPTIMALISEREN?
Meer resultaat / verhogen omzet
Meer verkeer genereren
Conversie verhogen
Hoger rendement uit bestaande
kanalen
Extra kanalen inzetten
Bestaande onderdelen
optimaliseren
Nieuwe functionaliteit introduceren
CONVERSIE OPTIMALISATIE: MIDDEL
Meer resultaat / verhogen omzet
Meer verkeer genereren
Conversie verhogen
Hoger rendement uit bestaande
kanalen
Extra kanalen inzetten
Bestaande onderdelen
optimaliseren
Nieuwe functionaliteit introduceren
CONVERSIE OPTIMALISATIE MIDDELS CONTROLLED EXPERIMENTS
Conversie optimalisatieA/B testing
Controlled experiments
Multi-variate
Significantie
Validiteit
Bayesiaanse statistiek
Statistiek
P-value
Random Sample
Multi-step
Bandit testing
Full factorial
Fractional factorial
Call2action
Factor
Variation
Interaction effectEffect size
frequentistische statistiek
Split-testing
CRO
A/B/n test
Best practices
MVT
“ 93% van de de ondervraagde organisatie geeft aan in 2016 bezig te zijn met conversie optimalisatie of hiermee te willen starten;
-source: eConsultancy Conversion Rate Optimization Report 2015
MARKS & SPENCER CASE
ONTWIKKELING VAN EEN CONVERSIE TRAJECT
VOORBEELDRANDVOORWAARDEN: TEAM & TOOL
ART & SCIENCE
TAKE AWAYS
➤ Zorg dat alle kennis aanwezig is om het proces te doorlopen,
➤ houdt het team klein;
➤ Zorg dat tooling/techniek geen bottleneck is;
➤ Start met voorbereiding voor de tooling in plaats is (er is genoeg te doen);
➤ Zorg voor tooling die aansluit bij de technische infrastructuur;
➤ Wees voorbereid op verandering;
➤ Werk iteratief (agile/scrum).
VOORBEELDUITDAGING: WAAR EN WAT TESTEN?
?HOMEPAGE CHECKOUT
“ Resources, kennis en testideeën worden gezien als de grootste bottleneck…
-source: eConsultancy Conversion Rate Optimization Report 2015 & conversionXL state of the market 2016
VOORBEELDOPLOSSING: BEST PRACTICES GENOEG?
VOORBEELDCASE
VOORBEELDONTELBARE MOGELIJKHEDEN
“… optimalisatietrajecten starten vaak succesvol maar continuïteit blijkt de echte uitdaging.
VAN QUICK FIX(ES) NAAR STRUCTUREEL SUCCES
“74% of the survey respondents who reported having a structured approach to conversion also stated they had improved their sales.
-source: Econsultancy Conversion Rate Optimization Report
3 KEY PRINCIPES
VOORBEELDVAN AD HOC NAAR STRUCTUREEL SUCCES
-source: Adapted from Trochim, William M. The Research Methods Knowledge Base, 2nd Edition.
Result, but not reliable Reliable, but no result Reliable results
1. ELIMINATE GUESS WORK
VOORBEELDOPLOSSING:
> Meer onderbuik gevoel
> Meer resources
> Focus op best practices
“LET’S SEE WHAT STICKS”-METHODE
VOORBEELDAD HOC / OPINION-BASED
“Most of the world will make decisions by either guessing or using there gut. They will be either lucky or wrong.
-Suhail Doshi
VOORBEELDLUCKY OR WRONG?
VOORBEELDSTRUCTUUR & PROCES
Ad hoc Opinion-based
Testing discipline Fact-based
VOORBEELDITERATIEVE AANPAK, PIN POINT RELEVANTE ELEMENTEN
VOORBEELDOPLOSSING: KLEINE AANPASSINGEN MET GROOT EFFECT
Kan ik gebruik stimuleren door weg nemen van onzekerheid, te overtuigen of te verleiden
Kan ik het makkelijker/duidelijker maken?
Welk element is van invloed?
VOORBEELDOPLOSSING: OPBOUW VAN ITERATIEVE EXPERIMENTEN
Copy, psychologische principes, design fine-tuning
Vorm, kleur, positie, afmeting
Tonen ja/nee
2. LEARN FROM FAILURE
“➤ Only one third of the ideas tested at Microsoft improved the
metric(s) they were designed to improve;
➤ at Google, only “about 10 percent of controlled experiments were leading to business changes;
➤ Netflix considers 90% of what they try to be wrong;
➤ Etsy “nearly everything fails” and “it's been humbling to realize how rare it is to succeed on the first attempt;
➤ “No matter how much you think it’s a no-brainer, how much research you’ve done, or how many competitors are doing it, sometimes, more often than you might think, experiment ideas simply fail.” - Skyscanner.
-source: exp-platform.com Online Controlled Experiments and A/B Tests
VOORBEELDOPLOSSING: ACTION ORIENTED BIAS
➤ Meer testen betekend niet automatisch meer resultaat
➤ Doel: information discovery
-source: Andrew Anderson
VOORBEELDTESTING DISCIPLINE
VOORBEELDVERTROUW NIET OP INTUÏTIE MAAR ONDERZOEK ALTERNATIEVEN
“It ain’t what you don’t know that gets you in trouble, it’s what you know for sure that ain’t so.
-Mark Twain
VOORBEELDCASE
3. FOCUS ON EFFICIENCY
ÍOPLOSSING: SINGLE BACKLOG
Backlog
Team
Bezoek
√succes / - failure
ÍOPLOSSING: VERSNELLEN? - MEER IDEEËN?
Backlog
Team
Bezoek
√succes / - failure
ÍOPLOSSING: VERSNELLEN? - MEER RESOURCES?
Backlog
Team
Bezoek
√succes / - failure
VOORBEELDOPLOSSING: SINGLE LANE TESTING
OFHOMEPAGE CHECKOUT
VOORBEELDOPLOSSING: FOCUS OP EFFICIËNTIE …
HOMEPAGE
CHECKOUT
CATEGORIE PRODUCT
BASKET BEDANKT
√
VOORBEELDOPLOSSING: … MULTIPLE TESTING LANES
HOMEPAGE
CHECKOUT
CATEGORIE PRODUCT
BASKET BEDANKT
√
VOORBEELDCASE
VOORBEELDEFFICIENCY
TAKE AWAY
VOORBEELDOPTIMIZING THE ORGANIZATION
Eliminate the guess work learn from failure focus on efficiency
“Want to be a better marksman? Stop looking for silver bullets, improve you aiming.
Roel [email protected]
@roelwillems linkedin.com/in/roelwillems
VOORBEELDCONTACT