Bortfallsproblematiken – ett SCB-perspektiv ”Frimisseminariet” 11 november 2015 Jan Hörngren

Disposition Kort om SCB:s datainsamling Vad är bortfall? – en definition Bortfallets utveckling (exempel) Hur bemöter SCB bortfallet? Rekommendationer från extern expertis (ASPIRE) Några slutord

Lite snabba fakta om SCB:s verksamhet (individ- och hushållsundersökningar 2014) Genomförde ca 150 undersökningar Genomförde ca intervjuer 2014 Ca enkäter besvarades via webb eller papper Intervjuarna samlade in ca prisuppgifter till Konsumentprisindex

Vad är bortfall? Definition: Bortfall föreligger då man misslyckats få observationer på en eller flera undersökningsvariabler för ett objekt som tillhör målpopulationen. Vi skiljer på: Objektbortfall: När vi saknar data för samtliga undersökningsvariabler Partiellt bortfall: När vi saknar data för minst en undersökningsvariabel, men inte alla

Ökande bortfall Bortfallet fortsätter öka i SCB:s individ och hushållsundersökningar Telefonintervju AKU – Arbetskraftsundersökningarna PSU – Partisympatiundersökningen Pappers- och webbenkät Nationella folkhälsoundersökningen – ”Hälsa på lika villkor”

Bortfallsutveckling (%)

Bortfallskategorier vid intervju Bortfall totalt Avböjd medverkan Ej kontakt

Hur bemöter SCB bortfallet? 1.Åtgärder för att minska bortfallet 2.Justera för bortfallets effekter – minska bortfallsbias

Hur bemöter SCB bortfallet? - Traditionella åtgärder: Minska bortfallet Introduktionsbrev … övrig kommunikation med uppgiftslämnare Spårning av telefonnummer Intervjuarutbildning Kontaktstrategier Kontaktfrågor i panelundersökningar Sannolikhetsmodeller (logit-modeller) (Selektiva) bortfallsuppföljningar

Hur bemöter SCB bortfallet? - Åtgärder: Minska bortfallsbias Kalibrering I syfte att motverka bortfallsbias tillämpar SCB kalibrering Vid kalibrering anpassas undersökningens designvikter så att de ger ”rätt skattningar” för valda ”hjälpvariabler” (i regel registervariabler) Hjälpinformationen kan till exempel bestå av kön, ålder, födelseland, inkomst, utbildning etc. Urvalet (n) Svarsmängden (r)

Hur bemöter SCB bortfallet? -”Nya” åtgärder/projekt Ny organisation på SCB:s Intervjuenhet Fokus på Mixed-Mode (telefon/webb) Utveckling av verktyg och test i traditionella telefonundersökningar, bl.a. Partisympatiundersökningen (PSU) Indikatorer och strategier i insamlingen av AKU (panelundersökning) BADEN (Bayesian Adaptive Survey Design Network) – internationellt nätverk

SCB:s intervjuarenhet - några nyheter SCB har ca 220 intervjuare + timanställda vid behov varav ca 140 fältintervjuare (arbetar i hemmet) Intervjuarna indelade i 11 grupper – 11 “gruppchefer ” Alla intervjuare har fått närmare till sin chef och får bättre feedback Undersökningsledarna (survey managers) jobbar i “team” Uppgiftslämnarservice från

Mixed-mode (telefon/webb) - PSU Sedan år 1972 – 2 gånger per år På uppdrag av Sveriges riksdag Population: svenska medborgare 18 år och äldre Urval: cirka personer Design: Sannolikhetsurval – roterande trestegspanel Telefonintervjuer Öppna svarsalternativ Mäter valresultat vid ”val idag” samt även partisympatier

= mode effekter (skillnader i mätning beroende på datainsamlingsmetod) = tvingas göra om frågan för att passa datainsamlingsmetoden (kan också leda till skillnad i mätning) Två centrala skillnader Intervjuare – eller inte Informationstyp – visuell eller ljud Att mixa telefon och webb

Mixed-mode (telefon/webb) - projekt PSU Projekt 1: Verktyg för mixed-mode (höst 2013-vår 2014) Projekt 2: Test av mixed-mode i PSU (vår vinter 2014/2015

Experiment ”Metodundersökningen” (september 2014): Experiment i ordinarie PSU (maj 2015): Ordinarie PSU: urvalsstorlek ca 9000 Kontrollgruppen tillräcklig stor för att säkra skattningen om något går fel Urvalsstorlek Experimentgrupp (webb+telefon)ca Kontrollgrupp (telefon)ca Totaltca Urvalsstorlek Experimentgrupp (webb+telefon)ca Kontrollgrupp (telefon)ca Totaltca

Svarsandelar i delpopulationer, maj 2015 SvarsandelarDifferens ExperimentgruppKontrollgrupp Experiment- kontroll Totalt54.0 %47.0 % 7.0 % Män 54.3 %49.7 %4.6 % Kvinnor 53.6 %44.3 %9.3 % år 45.4 %39.1 %6.3 % år52.3 %43.7 % 8.6 % år 54.8 %46.7 %8.1 % 65- år61.2 %55.9 % 5.3 % Förgymnasial 44.9 %43.1 %1.8 % Gymnasial 49.1 %43.2 %5.9 % Eftergymnasial 66.9 %54.9 %12.0 % Utlandsfödd 41.6 %39.1 %2.5 % Född i Sverige 55.6 %48.1 %7.5 %

Validagskattningar, maj 2015 (%) PartiTotaltExperiment -grupp Kontroll -grupp Differens (experiment -kontroll) Konfidens- intervall för differensen Centerpartiet (-2.0, 0.6) Folkpartiet (-1.2, 1.0) Moderaterna (-3.6, 1.2) Kristdemokraterna (-0.6, 1.5) Socialdemokraterna (-2.6, 2.5) Vänsterpartiet (-0.7, 1.9) Miljöpartiet (-2.3, 0.4) Sverigedemokraterna (-1.5, 2.9) Övriga (0.2, 1.9)

Slutsatser från testet Svarsfrekvenser Högre svarsfrekvenser i experimentgruppen jämfört med kontrollgruppen Högre svarsfrekvens, särskilt bland ej anträffade vid tidigare undersökningsomgång Skattningar Inga skillnader i datakvalitet (partiella bortfall och ”vet ej- svar”) Inga skillnader i centrala skattningar Kostnader 42 procent av svaren kom in via webb! Med webb når vi även de som är svåra att få kontakt med (ej anträffade/sena intervjuer)

Mixed-Mode – mer om PSU-experimentet Mixed-Mode Experiment - Evaluation of Effects on Data Quality and Response Rates This version is prepared for the 6th Conference of the European Survey Research Association (ESRA) that will take place 13th-17th July Johan Eklund, Statistics Sweden Mikaela Järnbert, Statistics Sweden Tiina Orusild, Statistics Sweden Andreas Persson, Statistics Sweden Fredrik Scheffer, Statistics Sweden Abstract Over recent decades, response rates in interview surveys have decreased rapidly in Sweden as in many other countries. This has led to higher uncertainty in estimates as well as higher costs of data collection. One way to deal with this problem is to allow other response modes. In September 2014 and May 2015, Statistics Sweden carried out experiments with mixed- mode (telephone interviews and web questionnaires) within the Swedish Party Preference Survey. In the evaluation we use data from the Party Preference Survey together with register data and para data from the data collection.

BADEN - Bayesian Adaptive Survey Design Network Deltagare: CBS Netherland, University of Manchester, University of Southampton, US Census Bureau, RTI International, University of Michigan och SCB. Strategier för att: Minska kostnaderna Minska risken för systematiska (och slumpmässiga) fel Stort fokus på bortfallbias Adaptive Design / Responsive Design

… ett SCB-projekt som är besläktat med BADEN Indikatorer och strategier i AKU:s datainsamling AKU är en panelundersökning där varje urvalsperson deltar 8 ggr Urvalsstorlek: / månad

Indikatorer och strategier i AKU:s datainsamling Panelansatsen ger oss olika “bearbetningsgrupper” som bearbetas på olika sätt, exempel: Nya urvalsenheter Intervju förra gången Ej anträffad förra gången Vägrare förra gången Övriga

ASPIRE – A system for Improvement, Review and Evaluation Ett koncept för att utvärdera centrala statistikprodukter (bl.a. AKU, KPI) (Paul Biemer, Dennis Trewin, Dan Kasprzyk, Jesper Hansson) Värdefullt med externa experter som granskar SCB I senaste utvärderingen (2015) lämnar de även rekommendationer avseende arbetet med bortfallet

ASPIRE – Några rekommendationer Mixed-Mode Data Collection Research The research on using mixed modes holds much promise for the long-term future of household surveys at Statistics Sweden Case/Call Management – This important area has not received enough attention in our opinion. Two-Phase Sampling In two-phase sample, only a random sample of nonrespondents are followed up rather than all nonrespondents

ASPIRE – Några fler rekommendationer Data Collection Management. the data collection department has increased the supervision of interviewers by reducing the span of control of its field managers. However, it is not clear how this will contribute to the goal of mitigating nonresponse Generellt; Nonresponse Bias Analysis Vi har fortfarande för mycket fokus på Svarsandelen i relation till bortfallsfelet

Samarbete med underleverantörer och bemanningsföretag Beläggningen inom intervjuverksamheten varierar under och mellan åren Ramavtal med underleverantörer Stötvis upphandling av tjänster från bemanningsföretag Särskilt försök med AKU pågår – utvärderas

Merci!