Att skapa värde och tillförlitlighet med kvantitativa undersökningar – att tänka efter före Mats Nyfjäll

Disposition Fråga alla eller urval - att definiera undersökningspopulation och hitta urvalsramar Statistisk och annan osäkerhet urvalsstorlek och andra felkällor Bortfall i undersökningar Tabellplan

Undersökningsprocess Urval och urvalsteori Påverkar

Steg i urvalsprocessen Definition av undersökningsenhet Definition av population Val av register för upprättande av urvalsram Urvalsmetod, urvalsstorlek och eventuella stratifieringar

Tre granskningar på Riksrevisionen för att illustrerar aspekter med undersökningspopulation mm.

Granskning 1 Tandvårdsreformen 2008 når den alla? (RiR 2012:12) Enkätundersökning till privatpersoner

Granskning 2 Regelförenkling för företag - regeringen är fortfarande lång från målet (RiR 2012:6) Enkätundersökning till företag

Granskning 3 Lika betyg, lika kunskap? En uppföljning av statens styrning mot en likvärdig betygssättning i grundskolan  (RiR 2011:23) Enkätundersökning till lärare och rektorer

Undersökningsenhet, objekt, individ Den enhet som ger upphov till enskilda mätvärden / undersökningsvärden. Varje undersökningsenhet har ett, och endast ett, värde på en enskild undersökningsvariabel. Om man är van att arbeta med data kan man tänka: det som blir en rad i en databas I vissa fall föreligger ingen problematik kring vad som är undersökningsenhet medan i andra fall kan det problematiseras

Tandvårdsreform - undersökningsenhet Enkätundersökning till privatpersoner Undersökningsenhet utgörs av enskilda personer Ett alternativ kan vara att låta varje enskilt besök utgöra undersökningsenhet Hur påverkar detta alternativ populationen?

Regelförenkling - undersökningsenhet Enkätundersökning till företag. Definition av företag? Juridisk person? Eller ska företag inom samma koncern grupperas till en individ? Utgör respektive arbetsställe undersökningsenhet? Vem är talesman för företaget? Vilken funktion ska enkäten ställas till?

Lika betyg, lika kunskap? -Undersökningsenhet Enkätundersökning till lärare och rektorer Undersökningsenhet utgörs av enskilda lärare och rektorer

Population (målpopulation, målgrupp) Alla undersökningsenheter/individer/objekt som har en viss uppsättning egenskaper gemensamt Egenskaperna används för att avgränsa populationen Ett första steg är att göra en önskad avgränsning, därefter kommer frågan om det går att upprätta en urvalsram/ram som svarar mot den önskade definitionen En tydlig definition av populationen är (mycket) viktig för förståelse kring vad det är man kommer att uttala sig om!

Tandvårdsreform- Population De som omfattas av tandvårdsreformen, hur definieras dessa? Folkbokförd i Sverige Notera, ej samma som svenska medborgare Åldersavgränsning: Det år man fyller 20 börjar reformen gälla Populationens storlek ca 7 500 000 i åldern 20 och uppåt En åldersavgränsning gjordes i undersökningen: fyller 85 år i år (av insamlingspraktiska skäl) Populationens storlek ca 7 100 000 i åldrarna 20-85 Intressepopulation vs målpoulation Till och med det år som patienten fyller 29 är bidraget 300 kronor per år. Från och med det år patienten fyller 30 och till och med det år hon fyller 74 är bidraget 150 kronor per år. Från och med det år patienten fyller 75 är bidraget 300 kronor per år.

Regelförenkling - Population Avgränsningar Företag med juridisk form 10, 21, 22, 31, 41, 42, 43, 49, 51, 92, 93 Antal anställda 0-499 För de med 0 anställda tas bara de som senaste åren (2009 eller 2010) hade minst 300 tkr i omsättning Endast aktiva företag (registrerad till F-skatt och/eller momsregistrerad och/eller registrerad som arbetsgivare) Populationens storlek uppgick till 421 957 företag

Juridisk form

Lika betyg, lika kunskap? - Population Hur avgränsas populationen? Det framgår inte helt klart från rapporten Från bilaga 1 i rapporten:

Lika betyg, lika kunskap? - Population Avgränsningar i populationen av lärare respektive rektor: Populationen av rektorer är troligtvis mindre problematisk En skola = en rektor (väl?) Populationen av lärare baseras på avgränsningen att läraren ska undervisa och sätta betyg i något ämne (vilket ämne som helst?) Hur stor är populationen av rektorer (på ett ungefär)? Hur stor är populationen av lärare (på ett ungefär)?

Lika betyg, lika kunskap? - Population Avgränsningen i populationen av skolor: Vilken typ av skola ingår? Kommunala, landstingskommunala, statliga, sameskola (statlig), fristående/enskild? Skolan måste ha elever i årskurs (åk) 9 (framgår indirekt) Finns kriterier på hur många elever som måste finnas i skolår 9? En vanlig gräns skolverket använder vid undersökningar är att skolan måste minst ha 8 elever i en visst åk Det fanns under läsåret 2010/2011 ca 1500 skolor med 8 eller fler elever i åk 9 (statliga eller sameskolor exkluderade) Det fanns under läsåret 2010/2011 ca 170 skolor med färre än 8 elever i åk 9 (statliga eller sameskolor exkluderade) Vilken population ska de svar som erhölls i undersökningen spegla?

Ram (urvalsram) Någon form av förteckning (ofta elektronisk) som används för att komma i kontakt med den sökta populationen Ofta utgörs urvalsramen av undersökningsenheterna, ett direkt urval av individer kan då genomföras. Ibland har vi inte en förteckning över undersökningsenheterna utan urvalsramen är en förteckning över grupper av undersökningsenheter. Urvalet blir då ett s.k. gruppurval eller klusterurval. Det (elektroniska) register som används måste (nästan alltid) bearbetas så att en urvalsram upprättas

Ram (urvalsram) Ibland finns det flera tänkbara befintliga register som kan utgöra grund för en urvalsram, hur väljer man bland dessa? Hur väl ramen speglar den önskade populationen Vilken information som finns tillgänglig Kostnad för att få ett urval draget Tidsaspekter (hur snabbt ett urval kan erhållas) Ska populationen stratifieras på någon eller några variabler måste dessa finnas i ramen

Tandvårdsreform - Ram Två tänkbara register är SPAR-registret RTB (registret över totalbefolkningen) Båda baseras på folkbokföringsregistret (Skatteverket) SCB är registerhållare för RTB de har möjlighet att ”matcha på” en mängd tänkbara variabler: Kön, ålder, geografiska indelningar, utbildningsnivå, födelseland, inkomstklass, yrkesstatus, SSYK-kod m.fl. Dyrare än SPAR Skatteverket är sedan 2009 huvudman för SPAR-registret. Inte lika många registervariabler finns som i RTB: Kön, ålder, geografiska indelningar, inkomstklass, civilstånd finns I projektet valdes SPAR-registret

Regelförenkling - Ram Flera aktörer har tillgång till företagsregister: SCB, PAR, DataDIA, Adressleverantören I projektet valdes SCB:s företagsregister: En beställning författades (undersökningsenhet, populationsavgränsningar, önskade registervariabler, urvalsmetod och storlek tydliggjordes)

Lika betyg, lika kunskap? - Ram Det är något oklart vilket register som ligger till grund för urvalsramen Det framgår inte heller om några registervariabler fanns tillgängliga Den första frågan i enkäten är I Skolverkets skolregister framgår huvudman för skolan vilket gör att den frågan inte behöver ställas om det registret används

Aspekter på ramar Den ram som används är förhoppningsvis en god spegling av populationen Dock kan rambrister förekomma Övertäckning: det finns individer som ingår i urvalsramen men som inte ingår i populationen Undertäckning: det finns individer som ingår i populationen men som inte finns med i urvalsramen Över- och undertäckning bör diskuteras i en rapport

Aspekter på ramar (2) Det är bra att i förväg fundera igenom ifall övertäckning- eller undertäckning kan förekomma och hur den skulle kunna identifieras under datainsamlingen Ibland ändrar man definition av populationen utifrån tillgängliga ramar Ju mer information som finns i ramen desto bättre Man slipper fråga om den information som finns Möjliggör bortfallsanalys

Diskussion Ge exempel på tänkbar övertäckning respektive undertäckning i Tandvårdsreform Regelförenkling Lika betyg, lika kunskap?

Osäkerhet i undersökningar - urvalsstorlek och andra felkällor

Osäkerhetskällor i undersökningar En vanlig indelning är Mätfel (validitet och reliabilitet) Täckningsfel (fel i ramen) Bortfall Bearbetningsfel (fel i bearbetning av data) Urval Urvalsosäkerhet går att att kvantifiera, 1-4 är ofta svårare

Urvalsstorlek En mycket vanlig fråga när man ska göra en undersökning är Hur stort stickprov måste jag ta? Frågan kan besvaras med en motfråga Hur säkra resultat vill du ha? Alternativt; hur stor osäkerhet kan du acceptera? För att förstå svaret måste man förstå vilka vad som menas med osäkerhet i ett undersökningsresultat

Urvalsosäkerhet Den osäkerhet som uppstår i resultaten då ett urval av individer undersöks i stället för att alla individer i populationen undersöks Denna osäkerhetskälla kan kvantifieras via s.k. konfidensintervall. Exempel Andel: 78% ± 6% (exempelvis andel god hälsa) Medelvärde 25,6 ± 2,3 (exempelvis medel för BMI)

Illustrationsexempel Regelförenkling

Illustrationsexempel Om vi vill uttrycka osäkerheten i skattningarna, hur gör vi då? Samma princip oavsett vilken andelsskattning vi analyserar Tag skattningen av andelen ”Enklare” (14 procent) som exempel

Illustrationsexempel Det var 512 företag som svarade För att förenkla beräkningarna Anta att dessa kan betraktas som ett OSU ur populationen på 421 957 företag Bortse alltså från bortfallet Bortse även från eventuella mät- och ramproblem

Samplingfördelning För att förstå hur osäkerheten gestaltar sig måste vi förstå begreppet samplingfördelning Vi illustrerar för hand

Samplingfördelning Den teoretiska fördelning av andelsskattningen om vi drar alla tänkbara stickprov omfattande 512 av 421 957 företag Hur många tänkbara olika stickprov om 512 från 421 957 kan man dra? Om vi (teoretiskt sätt) beräknar andelen på frågan för vart och ett av dessa tänkbara stickprov får vi en fördelning över tänkbara resultat: fördelningen kallas samplingfördelningen

Samplingfördelningen (2) Samplingfördelningen har vissa egenskaper Den är exempelvis normalfördelad om stickprovsstorleken är tillräckligt stor ca 30-40 i urvalsstorlek räcker ofta för detta Fördelningen har sitt centrum över det sanna värdet (P) i populationen

Osäkerhet i andelsskattning Via samplingfördelningen kan vi härleda ett uttryck (en formel) för osäkerheten i en andelsskattning p Osäkerheten beror på Stickprovsstorleken (på vilket sätt?) Populationsstorleken (på vilket sätt?) Andelsskattningen p (på vilket sätt?)

Osäkerhet i andelsskattning  

Kvantifiering av osäkerhet -konfidensintervall I fallet med en proportion beräknas ett konfidensintervall för den sanna populationsproportionen P på följande sätt Alltså ett intervall mellan cirka 11 och 17 procent Kallas felmarginal

Tolkning av intervallet Tolkningen av detta intervall är att: med 95% säkerhet så täcker intervallet 11% till 17% den sanna andelen (P) företag i populationen som anser att reglerna som påverkar företaget har blivit enklare de senaste fem åren Hur kan man få en djupare förståelse för vad detta betyder? Nyckeln är förståelse av samplingfördelningen

Vad betyder egentligen 95% konfidens? X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X Låt oss anta att den sanna andelen är 15% X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X 0.11 0.12 0.13 0.14 0.15 0.16 0.17 0.18 Sann andel i populationen=15% 1.Tänkbart resultat p=0.140 Ger intervallet 2.Tänkbart resultat p=0.160 3.Tänkbart resultat p=0.152 Täcker inte sann andel 4.Tänkbart resultat p=0.185 5.Tänkbart resultat p=0.148 ….. 95% av alla tänkbara intervall täcker det sanna medelvärdet 5% gör det inte. Detta är innebörden av ett 95% konfidensintervall!

Vad påverkar konfidensintervallets bredd? Antag att urvalet hade varit 250 företag och allt annat lika. Vad blir felmarginalen då? Svar________ Antag att urvalet hade varit 2000 företag och allt annat lika. Vad blir felmarginalen då? Svar________ Antag att urvalet hade varit 512 företag och allt annat lika förutom att antal företag i populationen hade varit 10 000. Vad blir felmarginalen då? Svar________ Som C men antal företag i populationen hade varit 10 000 000. Vad blir felmarginalen då? Svar________ Antalet företag i populationen är 421 957 och antalet utvalda företag är 512 men andelen företag som svarar Enklare på frågan är 30%. Vad blir felmarginalen då? Svar________ Som E men andelen företag som svarar Enklare på frågan är 50%. Vad blir felmarginalen då? Svar________

Vad påverkar konfidensintervallets bredd? Konfidensintervallet vid OSU för en andelsskattning ges av Stickprovsstorleken (n): ju större stickprov desto säkrare resultat (mindre felmarginal). Detta kan vi som undersökare påverka. Notera dock att en fördubbling av stickprovsstorleken inte halverar intervallet. En fyrdubbling av stickprovsstorleken ger ungefär en halvering av intervallet. Urvalets relativa storlek (n/N): om stickprovet utgör en stor andel av populationen blir intervallet snävare (allt övrigt konstant). Notera; om populationen är stor, säg 50 000 eller större, är det endast stickprovsstorleken som påverkar säkerheten. Upplevs ibland som en paradox!

Vad påverkar konfidensintervallet bredd? forts Konfidensgraden (z); konfidensgraden avgör graden av säkerhet vi vill uttala oss med. Notera dock att en högre säkerhet (konfidens) ger ett bredare intervall (lägre precision). Vanligt är 95% konfidens. Faktorer vid andra konfidensnivåer: Proportionen (p): vid proportionen 50% blir konfidensintervallet som bredast. Vid högre eller lägre proportion blir intervallet smalare. Detta kan vi som undersökare dock inte påverka, resultaten blir ju vad de blir.

Samband mellan felmarginal och stickprovsstorleken vid OSU Nedanstående diagram visar hur felmarginalen minskar när stickprovsstorleken ökar vid skattning av en populationsandel (populationen antas vara stor, p antas vara 0.5) Vi ser att de största precisionsvinsterna uppnås när stickprovsstorleken ökar från, säg, 50 till 300-500 individer. Vid små stickprovsstorlekar (diagrammet börjar vid n=30) är osäkerheten mycket stor. Är stickprovsstorleken mindre än 30-40 (tumregel) är inte uttrycket för konfidensintervallsberäkningar giltig.

Konfidensintervall vid små populationer Det går att beräkna konfidensintervall vid små populationer Dock helt andra metoder än den formel som här presenterats Osäkerheten blir mycket stor

Felmarginal vid små populationer

Anmärkning Den osäkerhet som visats gäller för skattning på totalnivå och urvalsmetoden obundet slumpmässigt urval (OSU) Under antagande att andra osäkerhetskällor inte påverkar negativt (bortfallet, mätfel, ramosäkerhet) Om resultat önskas för redovisningsgrupper blir osäkerheten större i dessa grupper

Vi återvänder till frågan vi ställde Hur stort stickprov måste jag ta? Motfråga: Hur säkra resultat vill du ha? Alternativt; hur stor osäkerhet kan du acceptera?

Kort om stratifierat urval En stratifiering innebär att man delar upp populationen i olika delgrupper och drar separata urval i varje grupp Motiv: Önskemål om särredovisning av delgrupper Bättre precision på totalnivå Ställer större krav på metodkunskap Allokeringen av urvalet Vägning med hänsyn till urvalssannolikheter behövs

Kort om kluster- och flerstegsurval Motiv: Det saknas bra urvalsramar som innehåller information om varje populationsindivid Administrativa skäl, t.ex. att det är lätt att administrera en enkät till en grupp av individer (t.ex. en klass eller en arbetsplats) Populationsindividerna är spridda över ett stort geografiskt område och insamlingsmetoden kräver besök

Klusterurval vs OSU Vid lika många ungersökta individer ger kluster- eller flerstegsurval (nästan alltid) sämre precision i skattningarna än OSU Hur kan det komma sig?

Intuitiv illustration Antag att populationen är elever i åk 9 Urvalsdesign 1: OSU av 4 skolor och därefter väljs elever ut så att 1000 elever uppnås totalt Urvalsdesign 2: OSU av 100 skolor och därefter väljs elever ut så att 1000 elever uppnås totalt Urvalsdesign 3: OSU av 1000 elever (geografiskt spridda över Sverige) Vad ger troligtvis bäst respektive sämst precision?

Bortfall i undersökningar

Typer av bortfall Partiellt (internt) bortfall individen svarar men inte på alla frågor Objekts- (externt) bortfall individen deltar överhuvudtaget inte i undersökningen Bortfall kan (men behöver inte nödvändigtvis) påverka ett undersökningsresultat Om bortfallet sker slumpmässigt, dvs. inget samband finns mellan bortfallet och de undersökta variablerna, kan bortfallets effekt negligeras. Vanligare är dock att individerna i bortfallet avviker från de svarande avseende undersökningsvariablerna

Illustration av bortfallets potentiella effekt Antag vi har tagit ett slumpmässigt urval om 1000 personer från Sveriges befolkning och frågar dem om deras inställning i en viss fråga 600 personer svarar, 400 svarar inte. Av de svarande var 60% (360 st.) positiva till ett påstående. Hur ska resultatet presenteras? Om bortfallet negligeras, hur fel kan vi hamna?

Hur kan vi ta reda på om bortfallet kan påverka resultaten? Bortfallsanalys Görs utan ny datainsamling Kräver registervariabler i ramen Bortfallsuppföljning Drag ett nytt urval bland ej svarande och byt insamlingsmetod Dyrt, ej säkert det ger bättre resultat

Exempel på bortfallsanlyas För att kunna göra denna analys krävs att tillgång till bakgrundsvariabler för hela urvalet (ej endast de svarande) Finns det fler variabler som bortfallet kan vara snedvridet över?

Olika ambitionsnivåer att hantera bortfall Negligera bortfallet Antagandet man då gör (explicit eller implicit) att bortfallet är slumpmässigt Genomför bortfallsanalys men utan att någon kompensation sker i skattningarna Genomför bortfallsanalys och genomför kompensation i skattningarna Metodologiskt mer krävande

Tabellplan

Planeringsdokument Specificera, under planeringsstadiet, en så detaljerad plan som möjligt över önskade tabeller och diagram, en s.k. tabellplan Tabellplanen ska ge tydlig vägledning vilka tabeller som skall produceras med hjälp av ”dummy tabeller” visa tabellernas innehåll och layout Om resultaten ska presenteras nedbrutet på olika redovisningsgrupper (t.ex. region, kön, år) ska även detta framgå

Exempel från en RiR-granskning om statlig pensionsinformation Kuvertmottagarnas bedömning av vilka uppgifter som är mest intressanta i det orange kuvertet? I ett tidigt skede i togs nedanstående skiss på tabellplan fram (statistiken är genomsnitt vid bedömning på skala 1-5)

Fråga 2 i enkäten fick följande utseende och lydelse

Första förslaget på tabellplan, i Excel

Andra förslaget på tabellplan

Tredje förslaget på tabellplan

Fjärde förslaget på tabellplan

Femte förslaget på tabellplan

Slutligt förslag på tabellplan (Riksrevisionen gjorde ett formellt godkännande)

Tabellplan, sammanfattning Det är en process att ta fram en tabellplan och vid en sådan genomgång väcks en del frågor och vissa aspekter kan klarläggas. Exempel: Vilken statistik ska presenteras? Vilka redovisningsgrupper ska vi ha (och dess indelningar)? Ska vi ha en fråga per tabell (hela skalan kan visas) eller flera frågor i en tabell (t.ex. andelen 3+4 kan visas) Ska vi korstabulera frågor mot varandra? Den tabellplan som tas fram är naturligtvis inte huggen i sten utan kan ändras vid behov efter att data samlats in Samtliga presentationer och redovisningar bör stämmas av mot den bakomliggande revisionsfrågan! Får vi svar på revisionsfrågorna genom den statistik som presenteras?

Litteraturtips Att köpa statistiska undersökningar. SCB Gratis som pdf på nätet Sök på titeln http://www.scb.se/sv_/Hitta-statistik/Publiceringskalender/Visa-detaljerad-information/?publobjid=4312++

Litteraturtips Urval – Från teori till praktik. SCB Gratis som pdf på nätet Sök på titeln http://www.scb.se/sv_/Hitta-statistik/Publiceringskalender/Visa-detaljerad-information/?publobjid=8482++

Litteraturtips Standard för bortfallsberäkning. Surveyföreningen Gratis som pdf på nätet Sök på titeln http://statistikframjandet.se/survey/en-standard-for-berakning-av-bortfall/

Statisticon AB Vi ser livet bakom siffrorna +46 (0)10 130 80 00, info@statisticon.se, www.statisticon.se Östra Ågatan 31, SE-753 22 Uppsala Klara Södra Kyrkogata 1, Box 837, SE-101 36 Stockholm Sweden