Metodval vid marknadsmätning: urval, definitioner och felkällor

Metodvalet börjar i syftet – inte i enkäten

Metodval vid marknadsmätning hänger samman som en kedja: syfte och beslutsbehov styr målgrupp, målgruppen styr population och urvalsram, urvalsramen styr möjliga urvalsstrategier, och strategin styr hur frågor kan ställas, hur data samlas in och hur resultaten får granskas och tolkas. Börjar man i enkäten – eller i verktyget man råkar ha tillgång till – riskerar man att mäta något annat än det beslutet gäller.

SCB beskriver att undersökningen designas i samråd med beställaren utifrån målgrupp och syfte, och att beställaren redan på förhand bör ha en tydlig bild av hur resultaten ska användas för att undersökningen ska bli så bra som möjligt. Tumregeln fungerar även för mindre mätningar: kan man inte formulera vad resultatet ska användas till, är metodvalet svårt.

För beställningar hos SCB gäller dessutom att myndigheten åtar sig statistiska undersökningar av samhällsintresse, främst åt andra myndigheter och forskare; att uppdraget ska ha lagligt stöd och genomföras enligt myndighetens riktlinjer och kvalitetskrav; samt att behandling av känsliga personuppgifter ska kunna motiveras av ett tydligt samhällsintresse eller vara godkänd av Etikprövningsmyndigheten. Ändamålet styr alltså vad som är möjligt att göra.

Ett praktiskt arbetssätt är att skriva fyra meningar före metodvalet: vilket beslut mätningen ska stödja, vilken grupp slutsatserna ska gälla, vilken precision som är tillräcklig och vilken tidsram som finns. Därefter kan urval, frågor, insamlingssätt och granskningsrutiner väljas så att de hänger ihop – i stället för att varje del optimeras för sig.

Population, urvalsram och representativitet

Tre begrepp behöver hållas isär. Målpopulationen är den grupp slutsatserna ska gälla, till exempel småföretag i en viss bransch under en viss period. Urvalsramen är den förteckning eller det register som urvalet faktiskt dras från. Analysobjektet är den enhet man mäter på – en person, ett företag, ett ärende, en butik. Otydliga gränser mellan dessa skapar tolkningsproblem långt senare, när någon frågar vad siffran egentligen beskriver.

forskning.se lyfter fram varför detta spelar roll: forskare kan inte undersöka allt, utan väljer ut en grupp, några personer eller ett material. Ibland behöver urvalet spegla en större grupp, ibland handlar det mer om att förstå ett särskilt fall. I det förra fallet påverkar urvalet hur resultaten kan tolkas – vill man veta hur svenskar i allmänhet ser på klimatförändringar måste urvalet vara som en miniatyrversion av den svenska befolkningen: en mix av personer i olika åldrar, av olika kön, som bor på olika platser och har studerat olika länge. Först då kan slutsatser dras som gäller fler än de som deltog.

Samma källa visar vad som händer när gränsen är för snäv: rubriken "Många positiva till att sopsortera" kan bygga på en studie i en miljömedveten bostadsrättsförening i en storstad, och då är frågan om resultatet gäller även i områden där engagemanget ser annorlunda ut. Ett annat exempel är en studie om högintensiv träning som genomfördes på elitidrottare, vars kroppar är vana vid extrem träning – det är inte säkert att puls och syreupptagning ser likadana ut hos en vanlig motionär.

En enkel kontrollista för urvalsramen: Är varje enhet i målpopulationen representerad i ramen? Finns enheter i ramen som inte tillhör målpopulationen? Går det att koppla en insamlad enhet till rätt analysobjekt? forskning.se föreslår också de frågor en läsare bör ställa till ett resultat: Vilka ingick i studien, när gjordes den, var gjordes den, hur många undersöktes och jämfört med när? Samma frågor fungerar utmärkt som intern granskning före publicering.

Välj urvalsstrategi: totalundersökning, sannolikhetsurval eller subjektivt urval

Infovoice.se beskriver skillnaden mellan att undersöka alla individer i den population man sedan vill uttala sig om – en totalundersökning – och att undersöka endast en del av alla individer, en urvalsundersökning. Enligt samma genomgång kan en totalundersökning bli aktuell i sällsynta fall, till exempel när populationen är liten och avgränsad, medan de allra flesta undersökningar görs som urvalsundersökningar. De utvalda kallas stickprov, och om stickprovet väljs ut på rätt sätt kan det ses som en liten miniatyrkopia av den bakomliggande populationen; resultatet från stickprovet får sedan representera samtliga individer i populationen.

Infovoice.se påpekar också att det är viktigare att urvalet görs på rätt sätt i epidemiologiska undersökningar än i experimentella. Översatt till marknadsmätning: ju mer slutsatserna ska beskriva en faktisk population, desto viktigare blir urvalslogiken.

Vid sidan av urval som bygger på slumpmässighet finns subjektiva urval, där urvalet styrs av bedömning eller tillgänglighet. Infovoice.se beskriver bekvämlighetsurvalet så att man subjektivt väljer individer utan annan tanke än att de ska vara så lätta som möjligt att få tag i, till exempel arbetskamrater eller vänner. Sådana urval kan vara praktiska för att testa frågeformuleringar eller få snabb vägledning, men de bär inte samma tolkningsgrund för att uttala sig om en bredare population.

SCB erbjuder urvalsdesign och urvalsdragning som delar av en undersökning, men också att SCB levererar ett urval och att datainsamlingen genomförs av någon annan. Det gör det möjligt att skilja på själva urvalsarbetet och insamlingen, vilket i sin tur gör det tydligt var ansvaret för urvalets kvalitet ligger.

Urvalsstrategier jämfört: Totalundersökning vs. Sannolikhetsurval vs. Subjektivt urval

Urvalsstorlek, tid och kostnad

Urvalsstorleken är sällan en fråga om "så många som möjligt" utan om vilken precision beslutet kräver, hur många delgrupper som ska kunna redovisas och vilken svarsfrekvens som realistiskt kan nås. Ett större urval ökar antalet svar men påverkar samtidigt kostnad, tid och administration.

SCB uppger att priset varierar mycket utifrån faktorer som urvalsstorlek, enkätens omfattning, insamlingsstrategi och leveransinnehåll. Som exempel anger SCB att en prisuppskattning för en urvalsstorlek om cirka 10 000 individer, en enkät om cirka 8 A4-sidor och leverans i form av en mikrodatafil är från 750 000 kronor exklusive moms. Det illustrerar att det som driver kostnad inte bara är antalet svar utan kombinationen av urval, frågeblankettens omfattning, insamlingsupplägg och vad som ska levereras.

Även tidsplanen styrs av flera faktorer. SCB anger att många faktorer påverkar tiden, alltifrån urvalets komplexitet till insamlingsperiod och leverans, att en enkätundersökning ofta tar 5–6 månader att genomföra från planeringsstart till leverans, att leveranstiden är kortare vid beställning av ett urval, och att det ofta finns en viss kötid innan planeringen kan börja.

Leveransformen är en egen avvägning. Enligt SCB kan resultaten levereras bearbetade i tabeller eller som mikrodata på individnivå med svaren från undersökningen och eventuella registervariabler, och mikrodata levereras efter godkänd utlämnandeprövning. Den som vill analysera själv behöver alltså räkna med både längre handläggning och villkor för användningen.

Kostnads- och tidsuppskattningar för SCB-undersökningar

Definitioner och frågekonstruktion som mäter rätt sak

Innan datainsamlingen börjar behöver man bestämma vilken enhet som mäts, vilken referensperiod frågorna gäller och vilka inklusionskriterier som avgör vem eller vad som räknas med. Otydligheter här slår igenom i alla senare led och går sällan att reparera i analysen.

SCB:s artikel om fel i data ger ett konkret exempel på definitionsfel: belopp kan anges inklusive moms när detta inte efterfrågas, vilket beskrivs som svårt att upptäcka. Den typen av sammanblandning är osynlig i enskilda svar och märks ofta först i aggregerade tal – vilket är ett skäl att definiera begrepp som pris, kostnad och omsättning uttryckligen i frågeblanketten eller i instruktionen.

Frågeformuleringen är också föremål för systematisk prövning. SCB uppger att alla frågeblanketter som skickas ut via myndigheten genomgår granskning av mätteknisk expertis. Poängen är att frågor som ska mäta samma sak i olika grupper eller över tid behöver testas innan de används, inte justeras i efterhand när skillnader uppstår.

Praktiskt innebär det att definitioner, svarsalternativ, skalor och eventuell hopp-logik dokumenteras samman med en motivering till varje val. Då blir det möjligt att se om en förändring mellan två mätningar beror på verkligheten eller på att frågan ändrades.

Datainsamlingsmetod efter målgrupp och jämförbarhet

Datainsamling startar enligt Infovoice.se långt innan projektet sjösätts och är en viktig del i planeringen av studien. Valet av kanal – webb, papper, telefon eller en blandning – påverkar vem som kan nås, vem som faktiskt svarar och hur jämförbara svaren är mellan grupper och mellan mätningar.

SCB använder som standard i individundersökningar en webboffensiv insamlingsstrategi. Det innebär att fyra utskick görs, varav tre hänvisar till en webbenkät och ett innehåller en pappersenkät, och att utskicken görs till digital brevlåda när det är möjligt och postalt annars. Modellen illustrerar två principer: att upprepa kontakten flera gånger och att erbjuda mer än en kanal så att personer med olika vanor och förutsättningar kan delta.

För den som jämför mätningar över tid är det viktigt att hålla insamlingssättet stabilt eller att kunna redovisa vad som ändrats. Byter man samtidigt kanal, antal påminnelser och frågeformulering blir det svårt att avgöra vad en förändring i resultaten beror på.

En rimlig avvägning är att välja kanal efter målgruppens faktiska förutsättningar och att dokumentera varje avsteg. För grupper där digitala kanaler är svåra att nå kan en blandad strategi ge bättre täckning, medan en renodlad digital strategi kan ge snabbare svar och enklare bearbetning – men då behöver man vara medveten om att urvalet av svarande kan bli snävare.

Fördelar och nackdelar med digital vs. blandad insamling

Felkällor och granskning i urval, mätning och bearbetning

SCB beskriver granskning, eller datagranskning, som ett sätt att säkerställa att den statistik och de register myndigheten framställer håller tillräcklig kvalitet, och noterar att man på engelska talar om "editing" eller "data validation". Granskning är i sammanhanget en kvalitetskontroll av statistiska uppgifter och ska inte förväxlas med granskning av frågeformulär, av dataprogram eller av att statistiksekretessen hålls. Metodstatistikern Karin Lindgren säger i artikeln att man behöver granska för att hitta och hantera fel i data, men också för att hitta felkällor och försöka åtgärda dem med förbättrade mätinstrument.

Granskningen sker i många olika faser och behöver enligt SCB utformas så att helheten blir effektiv. Vid webbinsamling kan indata granskas direkt av uppgiftslämnarna genom kontroller i webbinsamlingsverktyget SIV, och för övriga enkätdata granskas att skanningen blivit korrekt. Därefter följer produktionsgranskning av registrerade mikrodata; i de produkter som är inne i insamlings- och granskningsverktyget Triton används modulen Edit som stöd vid återkontakter och åtgärder. Senare faser omfattar både direktinsamlade data och registerdata: när tabeller tagits fram görs en outputgranskning, också kallad makrogranskning, för att hitta kvarstående fel i indata eller räknefel, och slutligen granskas det som ska publiceras eller levereras så att tabeller, diagram, kartor och text är korrekt sammanställda och samstämmiga.

SCB skiljer mellan två slag av kvalitetsproblem. "Uppenbara fel" är logiska fel, som ogiltiga eller motsägelsefulla värden, och de kan ofta rättas automatiskt efter fastställda regler. "Misstänkta fel" delas i två slag: definitionsfel, så kallade "inliers", som till exempel kan uppstå när belopp anges inklusive moms när detta inte efterfrågas och som är svåra att upptäcka, samt misstänkt avvikande värden som är så stora eller små att de förmodas vara felaktiga – exemplet i artikeln är påfallande höga månadslöner i en viss yrkesgrupp. Enligt SCB kräver de misstänkta felen ofta mer arbete med kontroller och åtgärder, och avvikelserna kan ibland utredas genom återkontakter med uppgiftslämnaren, främst i företagsundersökningar. SCB framhåller att det har ett värde att återkontakta uppgiftslämnare som gör fel i återkommande undersökningar, så att de uppmärksammas på det inför framtida undersökningar, och att utredning i andra fall kan göras vid skrivbordet genom att titta på andra datakällor.

Vid sidan av dessa feltyper brukar man i survey-sammanhang tala om fel som hör till olika steg i processen: urvalsfel och täckningsfel (urval och urvalsram), bortfall och mätfel (kontakt, frågor, svarande) samt bearbetningsfel (registrering, kodning, beräkning). Poängen med att hålla isär dem är att de kräver olika motåtgärder – ett bortfallsproblem löses inte med bättre skanningskontroller, och ett definitionsfel löses inte med ett större urval.

Dokumentation och sammanvägning av metodval

Dokumentationen är det som gör resultaten bedömbara i efterhand. SCB anger att en teknisk rapport som beskriver undersökningens metoder och genomförande alltid ingår i leveransen. En motsvarande dokumentation är rimlig även för egna mätningar: målpopulation och urvalsram, urvalsstrategi och urvalsstorlek, frågeblankett och definitioner, insamlingssätt och påminnelser, bortfall, samt vilka granskningssteg som genomförts och vilka fel som hanterats.

En sammanvägning av metodvalet kan göras som en enkel avvägning mellan fyra storheter: syfte och beslutsbehov, önskad precision och jämförbarhet, tillgänglig tid samt tillgängliga resurser. Urvalsstrategin bestämmer vilka slutsatser som är försvarbara, definitionsarbetet bestämmer vad siffrorna betyder, insamlingssättet bestämmer vem som svarar, och granskningen bestämmer hur mycket fel som kan fångas innan resultaten används.

Ett praktiskt beslutsstöd i turordning: (1) formulera beslutet och målgruppen, (2) bestäm målpopulation, urvalsram och analysobjekt och kontrollera att ramen täcker populationen, (3) välj urvalsstrategi och storlek utifrån precision, delgrupper och kostnad, (4) fastställ definitioner, referensperioder och frågeformuleringar, (5) välj insamlingssätt efter målgrupp och jämförbarhet över tid, (6) planera granskning i insamling, bearbetning och redovisning, och (7) dokumentera allt så att en utomstående kan bedöma resultatet.

För den som beställer en undersökning är det värt att tidigt klargöra hur resultaten ska användas och vilket underlag som behövs för att kunna bedöma dem – SCB:s formulering om att designen sker utifrån målgrupp och syfte, och att en tydlig bild av användningen avgör hur bra undersökningen blir, gäller oavsett om uppdraget läggs hos en myndighet, en leverantör eller genomförs internt.