Metodval vid marknadsmätning: urval, definitioner och felkällor

Metodvalet börjar i syftet – inte i enkäten

Metodvalet är en kedja. Syfte och beslutsbehov styr målgrupp, målgruppen styr population och urvalsram, urvalsramen styr urvalsstrategier, och strategin styr frågeformulering, datainsamling samt tolkning.

Utgår man från enkäten eller från verktyget som råkar finnas, riskerar man att mäta något annat än det beslutet gäller.

SCB designar undersökningen i samråd med beställaren utifrån målgrupp och syfte. Beställaren bör i förväg veta hur resultaten ska användas; annars blir undersökningen inte så bra som möjligt. Tumregeln gäller även mindre mätningar: kan man inte säga vad resultatet ska användas till, är metodvalet svårt.

För beställningar hos SCB gäller att myndigheten åtar sig statistiska undersökningar av samhällsintresse, främst åt andra myndigheter och forskare. Uppdraget ska ha lagligt stöd och följa myndighetens riktlinjer och kvalitetskrav. Behandling av känsliga personuppgifter måste antingen motiveras av ett tydligt samhällsintresse eller godkännas av Etikprövningsmyndigheten. Ändamålet avgör alltså vad som är möjligt.

Ett praktiskt grepp är att skriva fyra meningar före metodvalet: vilket beslut mätningen ska stödja, vilken grupp slutsatserna gäller, vilken precision som är tillräcklig och vilken tidsram som finns. Därefter kan urval, frågor, insamlingssätt och granskningsrutiner väljas så att de hänger ihop, i stället för att varje del optimeras separat.

Population, urvalsram och representativitet

Håll tre begrepp isär. Målpopulationen är den grupp slutsatserna ska gälla, till exempel småföretag i en viss bransch under en viss period. Urvalsramen är den förteckning eller det register som urvalet dras från. Analysobjektet är enheten man mäter på: en person, ett företag, ett ärende eller en butik. Otydliga gränser mellan dem skapar tolkningsproblem när någon frågar vad siffran beskriver.

Forskare kan inte undersöka allt, utan väljer en grupp, några personer eller ett material. Ibland ska urvalet spegla en större grupp, ibland handlar det om att förstå ett särskilt fall. I det första fallet påverkar urvalet hur resultaten kan tolkas.

Vill man veta hur svenskar i allmänhet ser på klimatförändringar måste urvalet vara en miniatyr av den svenska befolkningen: personer i olika åldrar, av olika kön, från olika platser och med olika lång utbildning. Först då kan slutsatserna gälla fler än de som deltog.

En för snäv avgränsning kan ge missvisande rubriker. Rubriken "Många positiva till att sopsortera" kan bygga på en studie i en miljömedveten bostadsrättsförening i en storstad. Då återstår frågan om resultatet gäller även i områden där engagemanget ser annorlunda ut. En studie om högintensiv träning på elitidrottare säger inte nödvändigtvis något om en vanlig motionär; elitidrottares kroppar är vana vid extrem träning och puls och syreupptagning ser inte likadana ut.

En enkel kontrollista för urvalsramen: Finns varje enhet i målpopulationen med i ramen? Finns enheter i ramen som inte tillhör målpopulationen? Går en insamlad enhet att koppla till rätt analysobjekt?

forskning.se föreslår också frågor en läsare bör ställa till ett resultat: Vilka ingick i studien? När gjordes den? Var gjordes den? Hur många undersöktes, och jämfört med när? Samma frågor fungerar som intern granskning före publicering.

Välj urvalsstrategi: totalundersökning, sannolikhetsurval eller subjektivt urval

Infovoice.se beskriver skillnaden mellan en totalundersökning – alla individer i populationen – och en urvalsundersökning, där bara en del undersöks. En totalundersökning kan bli aktuell i sällsynta fall, till exempel när populationen är liten och avgränsad. De flesta undersökningar görs som urvalsundersökningar. De utvalda kallas stickprov. Väljs stickprovet rätt kan det ses som en liten miniatyrkopia av populationen, och resultatet får representera samtliga individer i populationen.

Infovoice.se påpekar att urvalet är viktigare att göra rätt i epidemiologiska undersökningar än i experimentella. Översatt till marknadsmätning: ju mer slutsatserna ska beskriva en faktisk population, desto viktigare blir urvalslogiken.

Vid sidan av slumpmässiga urval finns subjektiva urval, där bedömning eller tillgänglighet styr. Infovoice.se beskriver bekvämlighetsurvalet som att man subjektivt väljer individer utan annan tanke än att de ska vara så lätta som möjligt att få tag i, till exempel arbetskamrater eller vänner. Sådana urval kan vara praktiska för att testa frågeformuleringar eller få snabb vägledning, men ger inte samma grund för att uttala sig om en bredare population.

SCB erbjuder urvalsdesign och urvalsdragning som delar av en undersökning, men också att SCB levererar ett urval och att någon annan genomför datainsamlingen. Då går det att skilja på urvalsarbete och insamling, vilket tydliggör var ansvaret för urvalets kvalitet ligger.

Urvalsstrategier: Totalundersökning vs. sannolikhetsurval vs. subjektivt urval

Urvalsstorlek, tid och kostnad

Urvalsstorleken handlar sällan om "så många som möjligt". Den styrs av vilken precision beslutet kräver, hur många delgrupper som ska kunna redovisas och vilken svarsfrekvens som realistiskt kan nås. Ett större urval ger fler svar men påverkar samtidigt kostnad, tid och administration.

SCB uppger att priset varierar mycket med urvalsstorlek, enkätens omfattning, insamlingsstrategi och leveransinnehåll. Ett exempel: en urvalsstorlek om cirka 10 000 individer, en enkät om cirka 8 A4-sidor och leverans som mikrodatafil kostar från 750 000 kronor exklusive moms. Kostnaden drivs inte bara av antalet svar. Den beror också på kombinationen urval, frågeblankettens omfattning, insamlingsupplägg och leverans.

Tidsplanen styrs också av flera faktorer. SCB anger att urvalets komplexitet, insamlingsperiod och leverans påverkar tiden. En enkätundersökning tar ofta 5–6 månader från planeringsstart till leverans. Leveranstiden är kortare vid beställning av ett urval. Det finns ofta en viss kötid innan planeringen kan börja.

Leveransformen är en egen avvägning. Enligt SCB kan resultaten levereras bearbetade i tabeller eller som mikrodata på individnivå med svaren från undersökningen och eventuella registervariabler. Mikrodata levereras efter godkänd utlämnandeprövning. Den som vill analysera själv får räkna med längre handläggning och villkor för användningen.

Definitioner och frågekonstruktion som mäter rätt sak

Bestäm före datainsamlingen vilken enhet som mäts, vilken referensperiod frågorna gäller och vilka inklusionskriterier som avgör vem eller vad som räknas med. Otydligheter här slår igenom i alla senare led och går sällan att reparera i analysen.

SCB:s artikel om fel i data ger ett konkret exempel på definitionsfel: belopp kan anges inklusive moms när detta inte efterfrågas, vilket beskrivs som svårt att upptäcka. Sådan sammanblandning är osynlig i enskilda svar och märks ofta först i aggregerade tal. Definiera därför begrepp som pris, kostnad och omsättning uttryckligen i frågeblanketten eller instruktionen.

Frågeformuleringen bör prövas systematiskt. SCB uppger att alla frågeblanketter som skickas ut via myndigheten granskas av mätteknisk expertis. Frågor som ska mäta samma sak i olika grupper eller över tid behöver testas innan de används, inte justeras i efterhand när skillnader uppstår.

Praktiskt innebär det att definitioner, svarsalternativ, skalor och eventuell hopplogik dokumenteras tillsammans med en motivering till varje val. Då går det att se om en förändring mellan två mätningar beror på verkligheten eller på att frågan ändrades.

Datainsamlingsmetod efter målgrupp och jämförbarhet

Enligt Infovoice.se börjar datainsamlingen långt innan projektet sjösätts och är en viktig del av planeringen. Kanalvalet – webb, papper, telefon eller en blandning – påverkar vem som kan nås, vem som faktiskt svarar och hur jämförbara svaren är mellan grupper och mätningar.

SCB använder som standard en webboffensiv insamlingsstrategi i individundersökningar. Fyra utskick görs: tre hänvisar till en webbenkät och ett innehåller en pappersenkät. Utskicken går till digital brevlåda när det är möjligt, annars postalt. Modellen bygger på två principer: upprepad kontakt och mer än en kanal, så att personer med olika vanor och förutsättningar kan delta.

Vid jämförelser över tid är det viktigt att hålla insamlingssättet stabilt eller att kunna redovisa vad som ändrats. Ändrar man samtidigt kanal, antal påminnelser och frågeformulering blir det svårt att avgöra vad en förändring i resultaten beror på.

En rimlig avvägning är att välja kanal efter målgruppens faktiska förutsättningar och dokumentera varje avsteg. För grupper som är svåra att nå digitalt kan en blandad strategi ge bättre täckning. En renodlad digital strategi kan ge snabbare svar och enklare bearbetning, men urvalet av svarande kan då bli snävare.

Digital vs. blandad insamlingssätt: För- och nackdelar

Felkällor och granskning i urval, mätning och bearbetning

SCB beskriver granskning, eller datagranskning, som ett sätt att säkerställa att myndighetens statistik och register håller tillräcklig kvalitet. På engelska talas om "editing" eller "data validation". Granskning är en kvalitetskontroll av statistiska uppgifter och ska inte förväxlas med granskning av frågeformulär, dataprogram eller statistiksekretess. Metodstatistikern Karin Lindgren säger i artikeln att man behöver granska för att hitta och hantera fel i data, men också för att hitta felkällor och åtgärda dem med förbättrade mätinstrument.

Granskningen sker i många faser och måste enligt SCB utformas så att helheten blir effektiv. Vid webbinsamling kan uppgiftslämnarna granska indata direkt genom kontroller i webbinsamlingsverktyget SIV. För övriga enkätdata kontrolleras att skanningen blivit korrekt. Därefter följer produktionsgranskning av registrerade mikrodata; i produkter i insamlings- och granskningsverktyget Triton används modulen Edit som stöd vid återkontakter och åtgärder.

Senare faser omfattar både direktinsamlade data och registerdata. När tabeller tagits fram görs outputgranskning, även kallad makrogranskning, för att hitta kvarstående fel i indata eller räknefel. Slutligen granskas det som ska publiceras eller levereras, så att tabeller, diagram, kartor och text är korrekt sammanställda och samstämmiga.

SCB skiljer mellan två slags kvalitetsproblem. "Uppenbara fel" är logiska fel, som ogiltiga eller motsägelsefulla värden, och kan ofta rättas automatiskt enligt fastställda regler. "Misstänkta fel" delas i två slag. Det ena är definitionsfel, så kallade "inliers", som kan uppstå när belopp anges inklusive moms trots att detta inte efterfrågas; de är svåra att upptäcka. Det andra är misstänkt avvikande värden som är så stora eller små att de antas vara felaktiga – exemplet i artikeln är påfallande höga månadslöner i en viss yrkesgrupp.

Enligt SCB kräver misstänkta fel ofta mer kontroll- och åtgärdsarbete. Avvikelser kan ibland utredas genom återkontakter med uppgiftslämnaren, främst i företagsundersökningar. SCB framhåller att det är värdefullt att återkontakta uppgiftslämnare som gör fel i återkommande undersökningar, så att de uppmärksammas inför framtida undersökningar. I andra fall kan utredning göras vid skrivbordet genom att titta på andra datakällor.

I survey-sammanhang talar man också om fel som hör till olika steg: urvalsfel och täckningsfel (urval och urvalsram), bortfall och mätfel (kontakt, frågor, svarande) samt bearbetningsfel (registrering, kodning, beräkning). Att hålla isär dem är viktigt eftersom de kräver olika motåtgärder: ett bortfallsproblem löses inte med bättre skanningskontroller, och ett definitionsfel löses inte med ett större urval.

Dokumentation och sammanvägning av metodval

Dokumentationen gör resultaten bedömbara i efterhand. SCB anger att en teknisk rapport om undersökningens metoder och genomförande alltid ingår i leveransen. Motsvarande dokumentation är rimlig för egna mätningar: målpopulation och urvalsram, urvalsstrategi och urvalsstorlek, frågeblankett och definitioner, insamlingssätt och påminnelser, bortfall samt vilka granskningssteg som genomförts och vilka fel som hanterats.

Metodvalet kan vägas samman mellan fyra storheter: syfte och beslutsbehov, önskad precision och jämförbarhet, tillgänglig tid och tillgängliga resurser. Urvalsstrategin avgör vilka slutsatser som är försvarbara. Definitionsarbetet avgör vad siffrorna betyder. Insamlingssättet avgör vem som svarar. Granskningen avgör hur mycket fel som kan fångas innan resultaten används.

Ett praktiskt beslutsstöd i turordning: (1) formulera beslutet och målgruppen, (2) bestäm målpopulation, urvalsram och analysobjekt och kontrollera att ramen täcker populationen, (3) välj urvalsstrategi och storlek utifrån precision, delgrupper och kostnad, (4) fastställ definitioner, referensperioder och frågeformuleringar, (5) välj insamlingssätt efter målgrupp och jämförbarhet över tid, (6) planera granskning i insamling, bearbetning och redovisning, och (7) dokumentera allt så att en utomstående kan bedöma resultatet.

Den som beställer en undersökning bör tidigt klargöra hur resultaten ska användas och vilket underlag som behövs för att bedöma dem. SCB:s formulering – att designen sker utifrån målgrupp och syfte och att en tydlig bild av användningen avgör hur bra undersökningen blir – gäller oavsett om uppdraget läggs hos en myndighet, en leverantör eller genomförs internt.