Bortfallsproblematiken – ett SCB-perspektiv ”Frimisseminariet” 11 november 2015 Jan Hörngren

En presentation över ämnet: "Bortfallsproblematiken – ett SCB-perspektiv ”Frimisseminariet” 11 november 2015 Jan Hörngren"— Presentationens avskrift:

1 Bortfallsproblematiken – ett SCB-perspektiv ”Frimisseminariet” 11 november 2015 Jan Hörngren jan.horngren@scb.se

2 Disposition Kort om SCB:s datainsamling Vad är bortfall? – en definition Bortfallets utveckling (exempel) Hur bemöter SCB bortfallet? Rekommendationer från extern expertis (ASPIRE) Några slutord

3 Lite snabba fakta om SCB:s verksamhet (individ- och hushållsundersökningar 2014) Genomförde ca 150 undersökningar Genomförde ca 260 000 intervjuer 2014 Ca 485 000 enkäter besvarades via webb eller papper Intervjuarna samlade in ca 160 000 prisuppgifter till Konsumentprisindex

4 Vad är bortfall? Definition: Bortfall föreligger då man misslyckats få observationer på en eller flera undersökningsvariabler för ett objekt som tillhör målpopulationen. Vi skiljer på: Objektbortfall: När vi saknar data för samtliga undersökningsvariabler Partiellt bortfall: När vi saknar data för minst en undersökningsvariabel, men inte alla

5 Ökande bortfall Bortfallet fortsätter öka i SCB:s individ och hushållsundersökningar Telefonintervju AKU – Arbetskraftsundersökningarna PSU – Partisympatiundersökningen Pappers- och webbenkät Nationella folkhälsoundersökningen – ”Hälsa på lika villkor”

6 Bortfallsutveckling (%) 2007-2014

7 Bortfallskategorier vid intervju Bortfall totalt Avböjd medverkan Ej kontakt

8 Hur bemöter SCB bortfallet? 1.Åtgärder för att minska bortfallet 2.Justera för bortfallets effekter – minska bortfallsbias

9 Hur bemöter SCB bortfallet? - Traditionella åtgärder: Minska bortfallet Introduktionsbrev … övrig kommunikation med uppgiftslämnare Spårning av telefonnummer Intervjuarutbildning Kontaktstrategier Kontaktfrågor i panelundersökningar Sannolikhetsmodeller (logit-modeller) (Selektiva) bortfallsuppföljningar

10 Hur bemöter SCB bortfallet? - Åtgärder: Minska bortfallsbias Kalibrering I syfte att motverka bortfallsbias tillämpar SCB kalibrering Vid kalibrering anpassas undersökningens designvikter så att de ger ”rätt skattningar” för valda ”hjälpvariabler” (i regel registervariabler) Hjälpinformationen kan till exempel bestå av kön, ålder, födelseland, inkomst, utbildning etc. Urvalet (n) Svarsmängden (r)

11 Hur bemöter SCB bortfallet? -”Nya” åtgärder/projekt Ny organisation på SCB:s Intervjuenhet Fokus på Mixed-Mode (telefon/webb) Utveckling av verktyg och test i traditionella telefonundersökningar, bl.a. Partisympatiundersökningen (PSU) Indikatorer och strategier i insamlingen av AKU (panelundersökning) BADEN (Bayesian Adaptive Survey Design Network) – internationellt nätverk

12 SCB:s intervjuarenhet - några nyheter SCB har ca 220 intervjuare + timanställda vid behov varav ca 140 fältintervjuare (arbetar i hemmet) Intervjuarna indelade i 11 grupper – 11 “gruppchefer ” Alla intervjuare har fått närmare till sin chef och får bättre feedback Undersökningsledarna (survey managers) jobbar i “team” Uppgiftslämnarservice från 09.00-21.00

13 Mixed-mode (telefon/webb) - PSU Sedan år 1972 – 2 gånger per år På uppdrag av Sveriges riksdag Population: svenska medborgare 18 år och äldre Urval: cirka 9 000 personer Design: Sannolikhetsurval – roterande trestegspanel Telefonintervjuer Öppna svarsalternativ Mäter valresultat vid ”val idag” samt även partisympatier

14 = mode effekter (skillnader i mätning beroende på datainsamlingsmetod) = tvingas göra om frågan för att passa datainsamlingsmetoden (kan också leda till skillnad i mätning) Två centrala skillnader Intervjuare – eller inte Informationstyp – visuell eller ljud Att mixa telefon och webb

15 Mixed-mode (telefon/webb) - projekt PSU Projekt 1: Verktyg för mixed-mode (höst 2013-vår 2014) Projekt 2: Test av mixed-mode i PSU (vår 2014- vinter 2014/2015

16 Experiment ”Metodundersökningen” (september 2014): Experiment i ordinarie PSU (maj 2015): Ordinarie PSU: urvalsstorlek ca 9000 Kontrollgruppen tillräcklig stor för att säkra skattningen om något går fel Urvalsstorlek Experimentgrupp (webb+telefon)ca 2 000 Kontrollgrupp (telefon)ca 1 000 Totaltca 3 000 Urvalsstorlek Experimentgrupp (webb+telefon)ca 5 500 Kontrollgrupp (telefon)ca 6 500 Totaltca 12 000

17 Svarsandelar i delpopulationer, maj 2015 SvarsandelarDifferens ExperimentgruppKontrollgrupp Experiment- kontroll Totalt54.0 %47.0 % 7.0 % Män 54.3 %49.7 %4.6 % Kvinnor 53.6 %44.3 %9.3 % 18-29 år 45.4 %39.1 %6.3 % 30-49 år52.3 %43.7 % 8.6 % 50-64 år 54.8 %46.7 %8.1 % 65- år61.2 %55.9 % 5.3 % Förgymnasial 44.9 %43.1 %1.8 % Gymnasial 49.1 %43.2 %5.9 % Eftergymnasial 66.9 %54.9 %12.0 % Utlandsfödd 41.6 %39.1 %2.5 % Född i Sverige 55.6 %48.1 %7.5 %

18 Validagskattningar, maj 2015 (%) PartiTotaltExperiment -grupp Kontroll -grupp Differens (experiment -kontroll) Konfidens- intervall för differensen Centerpartiet 6.56.16.8-0.7(-2.0, 0.6) Folkpartiet 4.6 -0.1(-1.2, 1.0) Moderaterna 25.725.126.3-1.2(-3.6, 1.2) Kristdemokraterna 3.94.13.60.5(-0.6, 1.5) Socialdemokraterna 29.4 0.0(-2.6, 2.5) Vänsterpartiet 6.36.66.00.6(-0.7, 1.9) Miljöpartiet 6.56.07.0(-2.3, 0.4) Sverigedemokraterna 14.715.114.40.7(-1.5, 2.9) Övriga 2.43.01.91.1(0.2, 1.9)

19 Slutsatser från testet Svarsfrekvenser Högre svarsfrekvenser i experimentgruppen jämfört med kontrollgruppen Högre svarsfrekvens, särskilt bland ej anträffade vid tidigare undersökningsomgång Skattningar Inga skillnader i datakvalitet (partiella bortfall och ”vet ej- svar”) Inga skillnader i centrala skattningar Kostnader 42 procent av svaren kom in via webb! Med webb når vi även de som är svåra att få kontakt med (ej anträffade/sena intervjuer)

20 Mixed-Mode – mer om PSU-experimentet Mixed-Mode Experiment - Evaluation of Effects on Data Quality and Response Rates This version is prepared for the 6th Conference of the European Survey Research Association (ESRA) that will take place 13th-17th July 2015. Johan Eklund, Statistics Sweden Mikaela Järnbert, Statistics Sweden Tiina Orusild, Statistics Sweden Andreas Persson, Statistics Sweden Fredrik Scheffer, Statistics Sweden Abstract Over recent decades, response rates in interview surveys have decreased rapidly in Sweden as in many other countries. This has led to higher uncertainty in estimates as well as higher costs of data collection. One way to deal with this problem is to allow other response modes. In September 2014 and May 2015, Statistics Sweden carried out experiments with mixed- mode (telephone interviews and web questionnaires) within the Swedish Party Preference Survey. In the evaluation we use data from the Party Preference Survey together with register data and para data from the data collection.

21 BADEN - Bayesian Adaptive Survey Design Network Deltagare: CBS Netherland, University of Manchester, University of Southampton, US Census Bureau, RTI International, University of Michigan och SCB. Strategier för att: Minska kostnaderna Minska risken för systematiska (och slumpmässiga) fel Stort fokus på bortfallbias Adaptive Design / Responsive Design

22 … ett SCB-projekt som är besläktat med BADEN Indikatorer och strategier i AKU:s datainsamling AKU är en panelundersökning där varje urvalsperson deltar 8 ggr Urvalsstorlek: 29 500 / månad

23 Indikatorer och strategier i AKU:s datainsamling Panelansatsen ger oss olika “bearbetningsgrupper” som bearbetas på olika sätt, exempel: Nya urvalsenheter Intervju förra gången Ej anträffad förra gången Vägrare förra gången Övriga

24 ASPIRE – A system for Improvement, Review and Evaluation Ett koncept för att utvärdera centrala statistikprodukter (bl.a. AKU, KPI) (Paul Biemer, Dennis Trewin, Dan Kasprzyk, Jesper Hansson) Värdefullt med externa experter som granskar SCB I senaste utvärderingen (2015) lämnar de även rekommendationer avseende arbetet med bortfallet

25 ASPIRE – Några rekommendationer Mixed-Mode Data Collection Research The research on using mixed modes holds much promise for the long-term future of household surveys at Statistics Sweden Case/Call Management – This important area has not received enough attention in our opinion. Two-Phase Sampling In two-phase sample, only a random sample of nonrespondents are followed up rather than all nonrespondents

26 ASPIRE – Några fler rekommendationer Data Collection Management. the data collection department has increased the supervision of interviewers by reducing the span of control of its field managers. However, it is not clear how this will contribute to the goal of mitigating nonresponse Generellt; Nonresponse Bias Analysis Vi har fortfarande för mycket fokus på Svarsandelen i relation till bortfallsfelet

27 Samarbete med underleverantörer och bemanningsföretag Beläggningen inom intervjuverksamheten varierar under och mellan åren --------------------------------------------------------------------- Ramavtal med underleverantörer Stötvis upphandling av tjänster från bemanningsföretag Särskilt försök med AKU pågår – utvärderas 2016 27

28 Merci!