Att skapa värde och tillförlitlighet med kvantitativa undersökningar – att tänka efter före Mats Nyfjäll.

En presentation över ämnet: "Att skapa värde och tillförlitlighet med kvantitativa undersökningar – att tänka efter före Mats Nyfjäll."— Presentationens avskrift:

1 Att skapa värde och tillförlitlighet med kvantitativa undersökningar – att tänka efter före
Mats Nyfjäll

2 Disposition Fråga alla eller urval - att definiera undersökningspopulation och hitta urvalsramar Statistisk och annan osäkerhet urvalsstorlek och andra felkällor Bortfall i undersökningar Tabellplan

3 Undersökningsprocess
Urval och urvalsteori Påverkar

4 Steg i urvalsprocessen
Definition av undersökningsenhet Definition av population Val av register för upprättande av urvalsram Urvalsmetod, urvalsstorlek och eventuella stratifieringar

5 Tre granskningar på Riksrevisionen för att illustrerar aspekter med undersökningspopulation mm.

6 Granskning 1 Tandvårdsreformen 2008 når den alla? (RiR 2012:12)
Enkätundersökning till privatpersoner

7 Granskning 2 Regelförenkling för företag - regeringen är fortfarande lång från målet (RiR 2012:6) Enkätundersökning till företag

8 Granskning 3 Lika betyg, lika kunskap? En uppföljning av statens styrning mot en likvärdig betygssättning i grundskolan  (RiR 2011:23) Enkätundersökning till lärare och rektorer

9 Undersökningsenhet, objekt, individ
Den enhet som ger upphov till enskilda mätvärden / undersökningsvärden. Varje undersökningsenhet har ett, och endast ett, värde på en enskild undersökningsvariabel. Om man är van att arbeta med data kan man tänka: det som blir en rad i en databas I vissa fall föreligger ingen problematik kring vad som är undersökningsenhet medan i andra fall kan det problematiseras

10 Tandvårdsreform - undersökningsenhet
Enkätundersökning till privatpersoner Undersökningsenhet utgörs av enskilda personer Ett alternativ kan vara att låta varje enskilt besök utgöra undersökningsenhet Hur påverkar detta alternativ populationen?

11 Regelförenkling - undersökningsenhet
Enkätundersökning till företag. Definition av företag? Juridisk person? Eller ska företag inom samma koncern grupperas till en individ? Utgör respektive arbetsställe undersökningsenhet? Vem är talesman för företaget? Vilken funktion ska enkäten ställas till?

12 Lika betyg, lika kunskap? -Undersökningsenhet
Enkätundersökning till lärare och rektorer Undersökningsenhet utgörs av enskilda lärare och rektorer

13 Population (målpopulation, målgrupp)
Alla undersökningsenheter/individer/objekt som har en viss uppsättning egenskaper gemensamt Egenskaperna används för att avgränsa populationen Ett första steg är att göra en önskad avgränsning, därefter kommer frågan om det går att upprätta en urvalsram/ram som svarar mot den önskade definitionen En tydlig definition av populationen är (mycket) viktig för förståelse kring vad det är man kommer att uttala sig om!

14 Tandvårdsreform- Population
De som omfattas av tandvårdsreformen, hur definieras dessa? Folkbokförd i Sverige Notera, ej samma som svenska medborgare Åldersavgränsning: Det år man fyller 20 börjar reformen gälla Populationens storlek ca i åldern 20 och uppåt En åldersavgränsning gjordes i undersökningen: fyller 85 år i år (av insamlingspraktiska skäl) Populationens storlek ca i åldrarna 20-85 Intressepopulation vs målpoulation Till och med det år som patienten fyller 29 är bidraget 300 kronor per år. Från och med det år patienten fyller 30 och till och med det år hon fyller 74 är bidraget 150 kronor per år. Från och med det år patienten fyller 75 är bidraget 300 kronor per år.

15 Regelförenkling - Population
Avgränsningar Företag med juridisk form 10, 21, 22, 31, 41, 42, 43, 49, 51, 92, 93 Antal anställda 0-499 För de med 0 anställda tas bara de som senaste åren (2009 eller 2010) hade minst 300 tkr i omsättning Endast aktiva företag (registrerad till F-skatt och/eller momsregistrerad och/eller registrerad som arbetsgivare) Populationens storlek uppgick till företag

16 Juridisk form

17 Lika betyg, lika kunskap? - Population
Hur avgränsas populationen? Det framgår inte helt klart från rapporten Från bilaga 1 i rapporten:

18 Lika betyg, lika kunskap? - Population
Avgränsningar i populationen av lärare respektive rektor: Populationen av rektorer är troligtvis mindre problematisk En skola = en rektor (väl?) Populationen av lärare baseras på avgränsningen att läraren ska undervisa och sätta betyg i något ämne (vilket ämne som helst?) Hur stor är populationen av rektorer (på ett ungefär)? Hur stor är populationen av lärare (på ett ungefär)?

19 Lika betyg, lika kunskap? - Population
Avgränsningen i populationen av skolor: Vilken typ av skola ingår? Kommunala, landstingskommunala, statliga, sameskola (statlig), fristående/enskild? Skolan måste ha elever i årskurs (åk) 9 (framgår indirekt) Finns kriterier på hur många elever som måste finnas i skolår 9? En vanlig gräns skolverket använder vid undersökningar är att skolan måste minst ha 8 elever i en visst åk Det fanns under läsåret 2010/2011 ca 1500 skolor med 8 eller fler elever i åk 9 (statliga eller sameskolor exkluderade) Det fanns under läsåret 2010/2011 ca 170 skolor med färre än 8 elever i åk 9 (statliga eller sameskolor exkluderade) Vilken population ska de svar som erhölls i undersökningen spegla?

20 Ram (urvalsram) Någon form av förteckning (ofta elektronisk) som används för att komma i kontakt med den sökta populationen Ofta utgörs urvalsramen av undersökningsenheterna, ett direkt urval av individer kan då genomföras. Ibland har vi inte en förteckning över undersökningsenheterna utan urvalsramen är en förteckning över grupper av undersökningsenheter. Urvalet blir då ett s.k. gruppurval eller klusterurval. Det (elektroniska) register som används måste (nästan alltid) bearbetas så att en urvalsram upprättas

21 Ram (urvalsram) Ibland finns det flera tänkbara befintliga register som kan utgöra grund för en urvalsram, hur väljer man bland dessa? Hur väl ramen speglar den önskade populationen Vilken information som finns tillgänglig Kostnad för att få ett urval draget Tidsaspekter (hur snabbt ett urval kan erhållas) Ska populationen stratifieras på någon eller några variabler måste dessa finnas i ramen

22 Tandvårdsreform - Ram Två tänkbara register är
SPAR-registret RTB (registret över totalbefolkningen) Båda baseras på folkbokföringsregistret (Skatteverket) SCB är registerhållare för RTB de har möjlighet att ”matcha på” en mängd tänkbara variabler: Kön, ålder, geografiska indelningar, utbildningsnivå, födelseland, inkomstklass, yrkesstatus, SSYK-kod m.fl. Dyrare än SPAR Skatteverket är sedan 2009 huvudman för SPAR-registret. Inte lika många registervariabler finns som i RTB: Kön, ålder, geografiska indelningar, inkomstklass, civilstånd finns I projektet valdes SPAR-registret

23 Regelförenkling - Ram Flera aktörer har tillgång till företagsregister: SCB, PAR, DataDIA, Adressleverantören I projektet valdes SCB:s företagsregister: En beställning författades (undersökningsenhet, populationsavgränsningar, önskade registervariabler, urvalsmetod och storlek tydliggjordes)

24 Lika betyg, lika kunskap? - Ram
Det är något oklart vilket register som ligger till grund för urvalsramen Det framgår inte heller om några registervariabler fanns tillgängliga Den första frågan i enkäten är I Skolverkets skolregister framgår huvudman för skolan vilket gör att den frågan inte behöver ställas om det registret används

25 Aspekter på ramar Den ram som används är förhoppningsvis en god spegling av populationen Dock kan rambrister förekomma Övertäckning: det finns individer som ingår i urvalsramen men som inte ingår i populationen Undertäckning: det finns individer som ingår i populationen men som inte finns med i urvalsramen Över- och undertäckning bör diskuteras i en rapport

26 Aspekter på ramar (2) Det är bra att i förväg fundera igenom ifall övertäckning- eller undertäckning kan förekomma och hur den skulle kunna identifieras under datainsamlingen Ibland ändrar man definition av populationen utifrån tillgängliga ramar Ju mer information som finns i ramen desto bättre Man slipper fråga om den information som finns Möjliggör bortfallsanalys

27 Diskussion Ge exempel på tänkbar övertäckning respektive undertäckning i Tandvårdsreform Regelförenkling Lika betyg, lika kunskap?

28 Osäkerhet i undersökningar - urvalsstorlek och andra felkällor

29 Osäkerhetskällor i undersökningar
En vanlig indelning är Mätfel (validitet och reliabilitet) Täckningsfel (fel i ramen) Bortfall Bearbetningsfel (fel i bearbetning av data) Urval Urvalsosäkerhet går att att kvantifiera, 1-4 är ofta svårare

30 Urvalsstorlek En mycket vanlig fråga när man ska göra en undersökning är Hur stort stickprov måste jag ta? Frågan kan besvaras med en motfråga Hur säkra resultat vill du ha? Alternativt; hur stor osäkerhet kan du acceptera? För att förstå svaret måste man förstå vilka vad som menas med osäkerhet i ett undersökningsresultat

31 Urvalsosäkerhet Den osäkerhet som uppstår i resultaten då ett urval av individer undersöks i stället för att alla individer i populationen undersöks Denna osäkerhetskälla kan kvantifieras via s.k. konfidensintervall. Exempel Andel: 78% ± 6% (exempelvis andel god hälsa) Medelvärde 25,6 ± 2,3 (exempelvis medel för BMI)

32 Illustrationsexempel
Regelförenkling

33 Illustrationsexempel
Om vi vill uttrycka osäkerheten i skattningarna, hur gör vi då? Samma princip oavsett vilken andelsskattning vi analyserar Tag skattningen av andelen ”Enklare” (14 procent) som exempel

34 Illustrationsexempel
Det var 512 företag som svarade För att förenkla beräkningarna Anta att dessa kan betraktas som ett OSU ur populationen på företag Bortse alltså från bortfallet Bortse även från eventuella mät- och ramproblem

35 Samplingfördelning För att förstå hur osäkerheten gestaltar sig måste vi förstå begreppet samplingfördelning Vi illustrerar för hand

36 Samplingfördelning Den teoretiska fördelning av andelsskattningen om vi drar alla tänkbara stickprov omfattande 512 av företag Hur många tänkbara olika stickprov om 512 från kan man dra? Om vi (teoretiskt sätt) beräknar andelen på frågan för vart och ett av dessa tänkbara stickprov får vi en fördelning över tänkbara resultat: fördelningen kallas samplingfördelningen

37 Samplingfördelningen (2)
Samplingfördelningen har vissa egenskaper Den är exempelvis normalfördelad om stickprovsstorleken är tillräckligt stor ca i urvalsstorlek räcker ofta för detta Fördelningen har sitt centrum över det sanna värdet (P) i populationen

38 Osäkerhet i andelsskattning
Via samplingfördelningen kan vi härleda ett uttryck (en formel) för osäkerheten i en andelsskattning p Osäkerheten beror på Stickprovsstorleken (på vilket sätt?) Populationsstorleken (på vilket sätt?) Andelsskattningen p (på vilket sätt?)

39 Osäkerhet i andelsskattning

40 Kvantifiering av osäkerhet -konfidensintervall
I fallet med en proportion beräknas ett konfidensintervall för den sanna populationsproportionen P på följande sätt Alltså ett intervall mellan cirka 11 och 17 procent Kallas felmarginal

41 Tolkning av intervallet
Tolkningen av detta intervall är att: med 95% säkerhet så täcker intervallet 11% till 17% den sanna andelen (P) företag i populationen som anser att reglerna som påverkar företaget har blivit enklare de senaste fem åren Hur kan man få en djupare förståelse för vad detta betyder? Nyckeln är förståelse av samplingfördelningen

42 Vad betyder egentligen 95% konfidens?
X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X Låt oss anta att den sanna andelen är 15% X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X 0.11 0.12 0.13 0.14 0.15 0.16 0.17 0.18 Sann andel i populationen=15% 1.Tänkbart resultat p=0.140 Ger intervallet 2.Tänkbart resultat p=0.160 3.Tänkbart resultat p=0.152 Täcker inte sann andel 4.Tänkbart resultat p=0.185 5.Tänkbart resultat p=0.148 ….. 95% av alla tänkbara intervall täcker det sanna medelvärdet 5% gör det inte. Detta är innebörden av ett 95% konfidensintervall!

43 Vad påverkar konfidensintervallets bredd?
Antag att urvalet hade varit 250 företag och allt annat lika. Vad blir felmarginalen då? Svar________ Antag att urvalet hade varit 2000 företag och allt annat lika. Vad blir felmarginalen då? Svar________ Antag att urvalet hade varit 512 företag och allt annat lika förutom att antal företag i populationen hade varit Vad blir felmarginalen då? Svar________ Som C men antal företag i populationen hade varit Vad blir felmarginalen då? Svar________ Antalet företag i populationen är och antalet utvalda företag är 512 men andelen företag som svarar Enklare på frågan är 30%. Vad blir felmarginalen då? Svar________ Som E men andelen företag som svarar Enklare på frågan är 50%. Vad blir felmarginalen då? Svar________

44 Vad påverkar konfidensintervallets bredd?
Konfidensintervallet vid OSU för en andelsskattning ges av Stickprovsstorleken (n): ju större stickprov desto säkrare resultat (mindre felmarginal). Detta kan vi som undersökare påverka. Notera dock att en fördubbling av stickprovsstorleken inte halverar intervallet. En fyrdubbling av stickprovsstorleken ger ungefär en halvering av intervallet. Urvalets relativa storlek (n/N): om stickprovet utgör en stor andel av populationen blir intervallet snävare (allt övrigt konstant). Notera; om populationen är stor, säg eller större, är det endast stickprovsstorleken som påverkar säkerheten. Upplevs ibland som en paradox!

45 Vad påverkar konfidensintervallet bredd? forts
Konfidensgraden (z); konfidensgraden avgör graden av säkerhet vi vill uttala oss med. Notera dock att en högre säkerhet (konfidens) ger ett bredare intervall (lägre precision). Vanligt är 95% konfidens. Faktorer vid andra konfidensnivåer: Proportionen (p): vid proportionen 50% blir konfidensintervallet som bredast. Vid högre eller lägre proportion blir intervallet smalare. Detta kan vi som undersökare dock inte påverka, resultaten blir ju vad de blir.

46 Samband mellan felmarginal och stickprovsstorleken vid OSU
Nedanstående diagram visar hur felmarginalen minskar när stickprovsstorleken ökar vid skattning av en populationsandel (populationen antas vara stor, p antas vara 0.5) Vi ser att de största precisionsvinsterna uppnås när stickprovsstorleken ökar från, säg, 50 till individer. Vid små stickprovsstorlekar (diagrammet börjar vid n=30) är osäkerheten mycket stor. Är stickprovsstorleken mindre än (tumregel) är inte uttrycket för konfidensintervallsberäkningar giltig.

47 Konfidensintervall vid små populationer
Det går att beräkna konfidensintervall vid små populationer Dock helt andra metoder än den formel som här presenterats Osäkerheten blir mycket stor

48 Felmarginal vid små populationer

49 Anmärkning Den osäkerhet som visats gäller för skattning på totalnivå och urvalsmetoden obundet slumpmässigt urval (OSU) Under antagande att andra osäkerhetskällor inte påverkar negativt (bortfallet, mätfel, ramosäkerhet) Om resultat önskas för redovisningsgrupper blir osäkerheten större i dessa grupper

50 Vi återvänder till frågan vi ställde
Hur stort stickprov måste jag ta? Motfråga: Hur säkra resultat vill du ha? Alternativt; hur stor osäkerhet kan du acceptera?

51 Kort om stratifierat urval
En stratifiering innebär att man delar upp populationen i olika delgrupper och drar separata urval i varje grupp Motiv: Önskemål om särredovisning av delgrupper Bättre precision på totalnivå Ställer större krav på metodkunskap Allokeringen av urvalet Vägning med hänsyn till urvalssannolikheter behövs

52 Kort om kluster- och flerstegsurval
Motiv: Det saknas bra urvalsramar som innehåller information om varje populationsindivid Administrativa skäl, t.ex. att det är lätt att administrera en enkät till en grupp av individer (t.ex. en klass eller en arbetsplats) Populationsindividerna är spridda över ett stort geografiskt område och insamlingsmetoden kräver besök

53 Klusterurval vs OSU Vid lika många ungersökta individer ger kluster- eller flerstegsurval (nästan alltid) sämre precision i skattningarna än OSU Hur kan det komma sig?

54 Intuitiv illustration
Antag att populationen är elever i åk 9 Urvalsdesign 1: OSU av 4 skolor och därefter väljs elever ut så att 1000 elever uppnås totalt Urvalsdesign 2: OSU av 100 skolor och därefter väljs elever ut så att 1000 elever uppnås totalt Urvalsdesign 3: OSU av 1000 elever (geografiskt spridda över Sverige) Vad ger troligtvis bäst respektive sämst precision?

55 Bortfall i undersökningar

56 Typer av bortfall Partiellt (internt) bortfall
individen svarar men inte på alla frågor Objekts- (externt) bortfall individen deltar överhuvudtaget inte i undersökningen Bortfall kan (men behöver inte nödvändigtvis) påverka ett undersökningsresultat Om bortfallet sker slumpmässigt, dvs. inget samband finns mellan bortfallet och de undersökta variablerna, kan bortfallets effekt negligeras. Vanligare är dock att individerna i bortfallet avviker från de svarande avseende undersökningsvariablerna

57 Illustration av bortfallets potentiella effekt
Antag vi har tagit ett slumpmässigt urval om 1000 personer från Sveriges befolkning och frågar dem om deras inställning i en viss fråga 600 personer svarar, 400 svarar inte. Av de svarande var 60% (360 st.) positiva till ett påstående. Hur ska resultatet presenteras? Om bortfallet negligeras, hur fel kan vi hamna?

58 Hur kan vi ta reda på om bortfallet kan påverka resultaten?
Bortfallsanalys Görs utan ny datainsamling Kräver registervariabler i ramen Bortfallsuppföljning Drag ett nytt urval bland ej svarande och byt insamlingsmetod Dyrt, ej säkert det ger bättre resultat

59 Exempel på bortfallsanlyas
För att kunna göra denna analys krävs att tillgång till bakgrundsvariabler för hela urvalet (ej endast de svarande) Finns det fler variabler som bortfallet kan vara snedvridet över?

60 Olika ambitionsnivåer att hantera bortfall
Negligera bortfallet Antagandet man då gör (explicit eller implicit) att bortfallet är slumpmässigt Genomför bortfallsanalys men utan att någon kompensation sker i skattningarna Genomför bortfallsanalys och genomför kompensation i skattningarna Metodologiskt mer krävande

61 Tabellplan

62 Planeringsdokument Specificera, under planeringsstadiet, en så detaljerad plan som möjligt över önskade tabeller och diagram, en s.k. tabellplan Tabellplanen ska ge tydlig vägledning vilka tabeller som skall produceras med hjälp av ”dummy tabeller” visa tabellernas innehåll och layout Om resultaten ska presenteras nedbrutet på olika redovisningsgrupper (t.ex. region, kön, år) ska även detta framgå

63 Exempel från en RiR-granskning om statlig pensionsinformation
Kuvertmottagarnas bedömning av vilka uppgifter som är mest intressanta i det orange kuvertet? I ett tidigt skede i togs nedanstående skiss på tabellplan fram (statistiken är genomsnitt vid bedömning på skala 1-5)

64 Fråga 2 i enkäten fick följande utseende och lydelse

65 Första förslaget på tabellplan, i Excel

66 Andra förslaget på tabellplan

67 Tredje förslaget på tabellplan

68 Fjärde förslaget på tabellplan

69 Femte förslaget på tabellplan

70 Slutligt förslag på tabellplan (Riksrevisionen gjorde ett formellt godkännande)

71 Tabellplan, sammanfattning
Det är en process att ta fram en tabellplan och vid en sådan genomgång väcks en del frågor och vissa aspekter kan klarläggas. Exempel: Vilken statistik ska presenteras? Vilka redovisningsgrupper ska vi ha (och dess indelningar)? Ska vi ha en fråga per tabell (hela skalan kan visas) eller flera frågor i en tabell (t.ex. andelen 3+4 kan visas) Ska vi korstabulera frågor mot varandra? Den tabellplan som tas fram är naturligtvis inte huggen i sten utan kan ändras vid behov efter att data samlats in Samtliga presentationer och redovisningar bör stämmas av mot den bakomliggande revisionsfrågan! Får vi svar på revisionsfrågorna genom den statistik som presenteras?

72 Litteraturtips Att köpa statistiska undersökningar. SCB
Gratis som pdf på nätet Sök på titeln

73 Litteraturtips Urval – Från teori till praktik. SCB
Gratis som pdf på nätet Sök på titeln

74 Litteraturtips Standard för bortfallsberäkning. Surveyföreningen
Gratis som pdf på nätet Sök på titeln

75 Statisticon AB Vi ser livet bakom siffrorna +46 (0) , Östra Ågatan 31, SE Uppsala Klara Södra Kyrkogata 1, Box 837, SE Stockholm Sweden