Så skiljer du korrelation från orsak i marknadsdata

Därför räcker inte korrelation som förklaring

Korrelation beskriver att två variabler rör sig tillsammans, inte varför. Även korrekt data kan misstolkas och leda till felaktiga slutsatser, beslut och handlingar. I marknadsdata är risken stor eftersom besluten ofta gäller kampanjer, priser, kanaler eller segment.

Granska varje samband för orsaksriktning innan det används som förklaring. En hög korrelation kan bero på omvänd orsak, en tredje variabel, urval, mätfel eller samvariation över tid. Annars riskerar man att åtgärda en följd i stället för en orsak.

Arbeta i steg: lista alternativa förklaringar, kontrollera tidsordningen, undersök mekanismen och granska datafilerna. Först när sambandet håller över tid, har en rimlig mekanism och inte förklaras av andra variabler bör det ligga till grund för marknadsbeslut.

Skriv upp det påstådda sambandet som A och B. Fråga om B kan påverka A, om en tredje variabel kan förklara båda, och om urval eller mätfel kan skapa mönstret. Om något svar är ja är korrelationen inte redo att styra marknadsbeslut.

Ett A/B-test är ett kontrollerat experiment där två versioner av en sida eller ett element jämförs. Version A är kontroll och version B är utmanaren. Besökarna slumpas mellan versionerna, och du mäter andelen som utför den önskade handlingen, till exempel ett köp, en registrering eller en nedladdning.

Slumpningen gör grupperna jämförbara. Skiljer sig utfallet åt beror det på förändringen du gjorde, inte på att den ena gruppen råkade bestå av mer köpbenägna besökare. Det är skillnaden mot att bara byta ut en sida och jämföra före och efter, där säsong, kampanjer och trafikkällor grumlar bilden.

Formulera en hypotes: vad du ändrar, varför du tror att det hjälper och vilket mått du följer. Exempel: om vi flyttar upp fri frakt till rubriken ökar andelen som lägger en vara i varukorgen, eftersom fraktkostnad är ett vanligt skäl till avhopp.

En randomiserad studie fördelar deltagare slumpmässigt till försöksgrupp och kontrollgrupp. Stratifierad randomisering delar först in i undergrupper och slumpar därefter inom varje undergrupp. Blindning innebär att ingen känner till vem som tillhör vilken grupp förrän mätningar och analyser är klara.

Systematiska fel kan snedvrida resultaten. Fördelningsfel (selection bias) uppstår när randomiseringen inte görs på rätt sätt. Behandlingsfel (performance bias) uppstår främst i oblindade studier.

Samband kan gå i båda riktningarna

Personaliserad marknadsföring kan både öka och minska konsumenters engagemang för företag. Det är utgångspunkten i personalization-teorin. Samma insats kan förknippas med både högre och lägre engagemang beroende på sammanhang.

Ett observerat samband mellan personalisering och engagemang säger inte vilken variabel som påverkar den andra. Engagerade konsumenter kan söka mer personaliserad kommunikation, samtidigt som personalisering kan göra vissa konsumenter mindre engagerade. För att skilja riktningarna krävs experiment eller longitudinella data där man ser vad som förändras först.

Skriv först upp att A påverkar B. Vänd sedan på riktningen och pröva om B påverkar A. Om båda är rimliga är korrelationen tvetydig och behöver prövas med experiment eller longitudinella data.

Identifiera vad som förändras först. Om engagemanget ökar före personaliseringen talar det för en riktning; om personaliseringen ökar före engagemanget talar det för den andra. Utan sådan ordning är sambandet tvetydigt.

Ett A/B-test kan pröva riktningen: slumpmässigt visa personalisering för en grupp och kontroll för en annan. Om engagemanget skiljer sig åt mellan grupperna är det förändringen, inte engagemanget i sig, som påverkar utfallet.

En holdout-grupp exkluderas från personalisering eller nya funktioner för att mäta långsiktig effekt. På så sätt kan man se om personaliseringen höjer engagemanget över tid eller bara samvarierar med redan engagerade konsumenter.

Tidpunkten avgör om sambandet håller

För marknadsdata gäller att samtida och framtida effekter behöver hållas isär.

Vid samtidiga mätningar kan eftersläpning skapa skensamband. En variabel kan ha börjat röra sig före den andra, eller så syns effekten först efter en fördröjning. Kontrollera därför tidsordningen: vilken variabel ändrades först, finns led- eller laggstruktur, och håller sambandet när mätperioderna förskjuts?

Mät samma variabler vid flera tillfällen och skjut mätperioderna framåt och bakåt. Bygg en tidslinje per variabel och markera när var och en börjar röra sig och när effekten syns. Om effekten först syns efter en fördröjning är samtidig korrelation missvisande; håller sambandet bara samtidigt är eftersläpning en möjlig förklaring.

Ett A/B-test bör löpa över hela affärscykler, oftast minst en till två hela veckor, så att skillnader mellan vardag och helg jämnas ut. Att avsluta ett test för tidigt är den enskilt vanligaste orsaken till felaktiga slutsatser.

Räkna med experimentdrift: externa förändringar som säsong eller annonskampanjer kan påverka testresultaten. Jämför därför perioder som är jämförbara och undvik att avsluta för tidigt.

Ställ frågor som minskar bruset

I kvalitativ och kvantitativ marknadsundersökningsmetodik finns enkla regler för att minska styrning: undvik frågor som inte tillför något, minimera antalet frågor och ställ känsliga frågor sist. Då minskar risken att svar påverkas av utmattning, ordningsföljd eller att känsliga ämnen färgar tidigare svar.

Kvalitativa intervjuer kan hitta mekanismer och alternativa förklaringar bakom ett samband. Kvantitativa mätningar kan sedan pröva om sambandet håller när man kontrollerar för andra variabler. Frågorna bör utformas så att de inte i sig skapar det mönster man sedan tolkar som en orsak.

Frekventistisk analys använder p-värden och signifikansnivåer för att avgöra om resultat är verkliga. Bayesiansk analys uppskattar sannolikheten att en variant är bättre än en annan och är ofta lättare att tolka.

CUPED (kontrollerad förtestdata) minskar brus genom att ta hänsyn till beteende före experimentet, vilket gör tester mer känsliga. Konfidensintervall är det intervall som sannolikt innehåller det sanna resultatet. En konfidensnivå på 95 % betyder att du är 95 % säker på att skillnaden är verklig.

Vanlig utgångspunkt är 5 procents signifikansnivå och 80 procents statistisk styrka, alltså 95 procents konfidensgrad. Falskt positivt är när ett test visar en vinnare av slumpen, inte för att förändringen fungerade. Falskt negativt är när en verklig effekt missas på grund av för lite data eller bristfällig testuppsättning.

Interaktionseffekt uppstår när två förändringar samverkar och skapar oväntade kombinerade effekter. Testa helst en tydlig förändring i taget, så att du vet vad som orsakade utfallet. Behöver du pröva flera element parallellt kan multivariattest visa hur de påverkar varandra.

Slumpfel beror på antalet observationer: ju fler observationer, desto mindre slumpfel behöver man befara.

Nyckelstatistik för statistisk säkerhet i marknadsexperiment

Granska datafilerna bakom sambandet

Samband formas av vilka data som samlats in och hur de byggts upp. Bokslutsdata och annan statistik om företagen kan hämtas från Statistiska centralbyrån (SCB) och samlas i samma datafiler. Då blir resultatet beroende av vilka variabler som finns med i filen, vilka definitioner som använts och vilka företag som ingår.

Fråga innan en korrelation används: Vilka datafiler ligger bakom? Vilka variabler är faktiskt mätta, och vilka saknas? Om en möjlig alternativ förklaring inte finns som variabel kan den inte testas. Då är det lätt att tillskriva sambandet den variabel som råkade vara inkluderad.

Begär variabellista, definitionsbeskrivning och urvalsbeskrivning. Kontrollera vilka företag som ingår och vilka som faller bort. Gå igenom filen variabel för variabel: är orsaken mätt, är verkan mätt, och finns möjliga alternativa förklaringar med?

I webbplatsdata kan AOV (genomsnittligt ordervärde) och ARPV (genomsnittlig intäkt per besökare) ingå. Intäkt per session är total intäkt dividerad med totalt antal sessioner och är ett vanligt målmått inom e-handel.

Från samband till säkrare marknadsbeslut

Använd en praktisk kontroll innan korrelationen behandlas som orsak. Leta efter alternativa förklaringar: en tredje variabel, urvalseffekter, mätfel eller omvänd orsaksriktning. Kontrollera tidsordningen: förändrades orsaken före verkan, och finns eftersläpning? Undersök mekanismen: finns en rimlig förklaring till varför A skulle påverka B? Pröva orsaksriktningen med experiment eller longitudinella data.

Väg in flera typer av underlag: kvalitativa intervjuer för mekanismer, kvantitativa data för styrka och generaliserbarhet, och bokslutsdata eller annan statistik från SCB för att fånga strukturella variabler. Först när sambandet håller över tid, har en rimlig mekanism och inte förklaras av andra variabler bör det ligga till grund för marknadsbeslut.

Praktisk checklista: 1) lista alternativa förklaringar, 2) kontrollera tidsordning, 3) undersök mekanism, 4) begär variabellista och urvalsbeskrivning, 5) håll samtida och framtida effekter isär. Om något steg faller är sambandet inte en säker grund för marknadsbeslut.

Pröva orsaksriktningen med A/B-test eller randomiserad studie där besökare slumpas till kontroll och behandling. Skiljer sig konverteringsgraden åt mellan grupperna är det förändringen, inte slumpen, som orsakar utfallet. Konverteringsgrad är andelen användare som konverterar av alla som såg varianten.

Absolut uplift är den faktiska skillnaden i konverteringsgrad: 12 % mot 10 % = +2 procentenheter. Lift är ett annat ord för förbättring eller ökning jämfört med kontrollen. Guardrail-mått följs för att experimentet inte ska skada viktiga KPI:er som intäkter eller tillgänglighet.

Dokumentera hypotes, mått och urvalsstorlek i förväg. Avsluta inte ett test för tidigt, och håll samtida och framtida effekter isär. Om något steg faller är sambandet inte en säker grund för marknadsbeslut.