Så bedömer du kvaliteten i extern branschstatistik

Varför kvaliteten i extern branschstatistik spelar roll

Extern statistik används ofta för omvärldsanalys, prioriteringar och uppföljning. Riksrevisionen konstaterar i granskningen av Skolverkets statistikuppdrag att statistik är en förutsättning både för att utvärdera skolpolitiska insatser och för att följa upp utvecklingen inom skolan generellt.

Samma granskning visar att kvalitetssäkringen varierar. Riksrevisionen bedömer att Skolverket har tillfredsställande rutiner för statistik som klassats som officiell, men att det finns brister i delar av den statistik som inte klassas som officiell men har stor praktisk betydelse, bland annat för skolval och kompensatorisk resursfördelning. Används sådan statistik för beslut eller uppföljning blir kvalitetsbristerna en del av beslutsunderlaget.

Statistikområden med kvalitetsbrister enligt Riksrevisionen

Officiell statistik eller annan branschstatistik?

Officiell statistik är ingen allmän kvalitetsstämpel som vilken extern siffra som helst kan åberopa. Enligt SCB:s riktlinjer för vad som är officiell statistik beslutar en statistikansvarig myndighet (SAM) om statistikens innehåll och omfattning inom sitt statistikområde, om inte annat följer av statistikförordningen.

Riksrevisionen bedömer att kvalitetssäkringen kan vara god för officiell statistik men bristfällig i annan statistik. Branschstatistik från intresseorganisationer, konsulter eller företag kan vara användbar, men måste granskas med egna kriterier för avsändare, metod och syfte.

En särskild gråzon uppstår vid nedbrytningar. Riksrevisionen noterar att officiell statistik nedbruten på kommunnivå eller skolenhetsnivå inte längre klassas som officiell statistik av Skolverket. Samma siffra kan alltså ha olika status beroende på vilken nivå den presenteras på.

Jämförelse: Officiell statistik vs. annan branschstatistik

Utveckling av officiell statistik – nivåberoende status

Vem står bakom siffrorna – och varför?

Börja med att skilja på avsändare, uppdragsgivare och utförare. I rapporten Kvalitet, relevans och effektivitet i svensk högre utbildning ur ett kompetensförsörjningsperspektiv har Faugert & Co Utvärdering/Technopolis Sweden, på uppdrag av Svenskt Näringsliv, genomfört analysen. Faugert & Co har författat hela rapporten, medan Svenskt Näringsliv ansvarar för det avslutande kapitlet med politiska reformförslag.

Exemplet visar varför du bör läsa försättsblad, metodkapitel och kapitelindelning: Vem har formulerat frågorna, vem har samlat in data och vem har skrivit slutsatserna? Om uppdragsgivaren är en intresseorganisation som driver opinion kan rapportens reformförslag vara en del av påverkansarbetet, även om analysen är utförd av en extern part.

För myndigheter gäller andra regler. Regeringen.se beskriver att myndigheterna är organisatoriskt fristående men styrs av regeringen, och att ministerstyre inte är tillåtet – en enskild minister kan inte ensam bestämma vad en myndighet ska göra. Håll därför isär myndighetens fristående ställning och den politiska styrningen när du bedömer statistik som myndigheten har tagit fram.

Fördelar och nackdelar med branschstatistik från intresseorganisationer

Dokumentation och kvalitetssäkring

Dokumentationen avgör om du kan kontrollera statistiken. Riksrevisionen bedömer att kvalitetssäkringen fungerar bättre för officiell statistik än för annan statistik, och SCB:s riktlinjer kopplar officiell statistik till beslut av en statistikansvarig myndighet om innehåll och omfattning. För annan branschstatistik får du därför själv efterfråga motsvarande underlag.

Fråga efter metodbeskrivning, definitioner av centrala begrepp, population och urval, bortfall och bortfallsanalys, datainsamlingsmetod, bearbetningsregler och eventuella revideringar. Saknas dessa delar eller sammanfattas de bara i marknadsföringstext, är det svårt att bedöma om siffrorna är användbara för din fråga.

Relevans för din bransch och ditt beslut

Relevans handlar om att statistiken mäter rätt saker för rätt population och kommuniceras begripligt. Riksrevisionen bedömer att Skolverket inte har tillfredsställande rutiner för att kartlägga behoven av statistik med centrala användare; i SCB:s användarråd för utbildningsstatistik saknas företrädare för forskare inom skolområdet, och Skolverket saknar ett användarråd för skolstatistik. Riksrevisionen ser också utrymme för förbättrad kommunikation av statistiken.

Ett relevansproblem finns i kompetensförsörjningen. I en rapport från Svenskt Näringsliv beskrivs att dimensioneringen av utbildningar i högskolan i huvudsak baseras på studenternas efterfrågan snarare än på arbetsmarknadens behov. Rapporten uppger också att ett av fyra rekryteringsförsök bland Svenskt Näringslivs medlemsföretag misslyckas helt eftersom det saknas personer med rätt kompetens. Mäter statistiken studentefterfrågan men gäller beslutet arbetsmarknadens behov, säger siffran inte det du tror.

Jämförbarhet över tid, regioner och grupper

Jämförbarhet bryts ofta av förändrade definitioner, populationer eller insamlingsmetoder. Kontrollera därför om serien har bytt mätmetod, om svarsfrekvensen har ändrats och om nedbrytningar görs på samma sätt över tid.

Riksrevisionen noterar att statistik nedbruten på kommunnivå eller skolenhetsnivå kan upphöra att klassas som officiell statistik. Då är nedbrytningen inte säkert jämförbar med den officiella nationella siffran, även om den bygger på samma grundmaterial.

För rankingar: ta reda på om de bygger på enkät, statistik eller båda. Lokalt företagsklimat anger principen ”Enkät + statistik = ranking” och beskriver att Svenskt Näringsliv varje år mäter drygt 30 000 företags upplevelser av att driva företag i sina kommuner. En ranking som mäter upplevelser kan vara relevant, men är inte samma sak som ett registerbaserat mått.

Transparens, insyn och möjlighet att kontrollera

Transparens innebär att du kan följa beräkningar, avgränsningar och källmaterial. För statistik från myndigheter finns en särskild insynsrätt: enligt Livsmedelsverket finns offentlighetsprincipen i tryckfrihetsförordningen, vilket innebär att handlingar som upprättas eller skickas till eller från en myndighet i princip är allmänna och normalt offentliga. Det finns undantag.

För branschstatistik från privata aktörer gäller inte offentlighetsprincipen på samma sätt. Begär i stället ut metodbilaga, frågeformulär, dataunderlag, beräkningsregler och eventuella avtal mellan uppdragsgivare och utförare. Är ansvarsfördelningen mellan aktörer otydlig blir det svårare att veta vem som svarar för vilka delar av resultatet.

För statliga myndigheter finns formella styrmedel: Livsmedelsverket beskriver att myndigheternas uppgifter styrs genom myndighetsförordningen, myndigheternas instruktioner och årliga regleringsbrev, och att årsredovisningen används för uppföljning och utvärdering. Regleringsbrev och årsredovisning visar vilket uppdrag statistiken ska svara mot.

Checklista: så granskar du extern branschstatistik i praktiken

Avsändare: Vem har tagit fram statistiken, vem har beställt den och vem har skrivit slutsatserna? Jämför med exemplet där Faugert & Co författade rapporten och Svenskt Näringsliv ansvarade för det avslutande kapitlet.

Syfte: Är syftet utvärderande, kommersiellt eller opinionsbildande? Om uppdragsgivaren driver opinion, läs särskilt vilka kapitel den ansvarar för.

Officiell status: Är statistiken officiell enligt statistikförordningen och beslutad av en statistikansvarig myndighet? Om den är nedbruten på kommun- eller skolenhetsnivå, kontrollera om den fortfarande klassas som officiell.

Metod: Finns metodbeskrivning med population, urval, datainsamling, bearbetning och revideringar? Riksrevisionen visar att kvalitetssäkringen kan vara god för officiell statistik men bristfällig för annan statistik.

Bortfall: Redovisas bortfall och hur det kan påverka resultatet? Ett bortfall som inte redovisas gör det svårt att bedöma om siffran är representativ.

Definitioner: Är centrala begrepp definierade så att de motsvarar din bransch och ditt beslut? Kontrollera om mätningen avser upplevelser, registeruppgifter eller en kombination.

Jämförbarhet: Har definitioner, population eller insamlingsmetod ändrats över tid? Är nedbrytningar jämförbara med officiell statistik? Rankingar som bygger på enkät och statistik bör granskas separat.

Kommunikation: Är resultaten begripligt kommunicerade, med tydliga nycklar och avgränsningar? Riksrevisionen bedömer att kommunikationen av skolstatistik kan förbättras.

Insyn: Kan du få ut metod, data och beräkningar? För myndigheter gäller offentlighetsprincipen normalt; för privata aktörer får du begära underlaget avtalsvägen.