Mixed-Mode Experiment Utvärdering av effekter på datakvalitet och svarsfrekvenser 1 Mikaela Järnbert Tiina Orusild Tillsammans med Johan Eklund, Andreas.

En presentation över ämnet: "Mixed-Mode Experiment Utvärdering av effekter på datakvalitet och svarsfrekvenser 1 Mikaela Järnbert Tiina Orusild Tillsammans med Johan Eklund, Andreas."— Presentationens avskrift:

1 Mixed-Mode Experiment Utvärdering av effekter på datakvalitet och svarsfrekvenser 1 Mikaela Järnbert Tiina Orusild Tillsammans med Johan Eklund, Andreas Persson and Fredrik Scheffer

2 Agenda Bakgrund Experimentell design Resultat o Svarsfrekvenser/R-indikatorer o Datakvalitet/Modeeffekter Slutsatser 2

3 Partisympatiundersökningen Sedan: År 1972 två gånger per år (maj och november) Population: Svenska medborgare 18 år och äldre Urvalsram: från SCB:s befolkningsregister Urvalsstorlek: 9 000 personer Paneler: deltagande i tre undersökningsomgångar Urvalsmetod: systematiskt urval från sorterad urvalsram Mode: Telefon 1972-2016, telefon/webb 2016- Telefonintervjuns längd: 5 minuter Huvudsakliga variabler: partisympati och partival Svarsfrekvens: 50-55 procent 3

4 Bortfallets utveckling i Partisympati- undersökningen 1984-2016 4

5 Mixed-mode experimenten Tre experiment, september 2014, maj and november 2015  September 2014: ett litet experiment, en panel  Maj och november 2015: större experiment, i ordinarie undersökningsomgångar Insamlingsmode  Experimentgruppen: webb och telefon  Kontrollgrupp: telefon Frågeställningar  Kan vi höja svarsfrekvenserna?  Blir det modeeffekter i svaren?  Partisvar, partisympati  Partiella bortfall  Vet ej 5

6 Partisympatiundersökningen – panel och mixed mode design 6 Omgång 1Omgång 2Omgång 3Omgång 4Omgång 5 Panel AInloggning via brev Inloggning via e-post och brev Panel B Inloggning via brev Inloggning via e-post och brev Panel C Inloggning via brev Inloggning via e-post och brev

7 7 Design av experimenten Urval Kontrollgrupp Startmode telefon Experimentgrupp Startmode Webb och telefon Svar via webb Svar via telefon Bortfall SvarBortfall Svarsfrekvens Sept 2014 : 55,4% Maj 2015 : 54,0 % Nov 2015 : 57,0 % Svarsfrekvens Sept 2014 : 50,5 % Maj 2015 : 47,0 % Nov 2015 : 51,4 %

8 Svarsfrekvens efter svar/ej svar i föregående undersökningsomgång September 2014 Maj 2015 8

9 Svarsfrekvenser i maj 2015 November 2014ExperimentKontroll Svarande75,565,8 Avböjd medverkan23,014,5 Ej anträffade32,114,2 Svarsfrekvenser i november 2015 Maj 2015ExperimentKontroll Svarande85,686,1 Avböjd medverkan21,517,3 Ej anträffade33,928,9 Svarsfrekvens efter svarskategori i föregående undersökningsomgång. Procent 9

10 Maj 2015November 2015 ExperimentKontroll ExperimentKontroll Svarande75,565,8 85,986,2 Förhindrad medverkan 0,71,8 0,8 Avböjd medverkan5,35,1 3,74,2 Oanträffade18,627,3 9,68,9 Total100 Svarskategori bland svarande i föregående undersökningsomgång. Procent 10

11 Svarande via webb i experimentgruppen. Procent 11

12 Svarsandelar i delpopulationer (%) Maj 2015November 2015 ExperimentKontrollExperimentKontroll Totalt54,047,057,051,4 Män 54,349,7 60,3 54,9 Kvinnor 53,644,3 53,748,0 18-29 år 45,439,1 46,043,0 30-49 år52,343,755,751,3 50-64 år 54,846,7 58,551,6 65+ år61,255,964,757,0 Storstad53,444,356,649,6 Övrigt54,147,557,151,8 Förgymnasial 44,943,1 49,642,8 Gymnasial 49,143,2 52,348,2 Eftergymnasial 66,954,9 68,261,8 Född i utlandet 41,639,1 47,443,8 Född i Sverige 55,648,1 58,352,4 Urvalsstorlek5 5616 5306 0222 999 12

13 R-indikatorn R -indikatorn definieras som: där där är svarsbenägenheten för individ i. Vill att eller åtminstone nära 1 (svarsmängden är representativ) Se t.ex. Shlomo, N., Skinner, C. and Schouten, B. (2012). Estimation of an indicator of the representativeness of survey response. Journal of Statistical Planning and Inference. Se även RISQ-projektets hemsida (www.risq-project.eu/) 13

14 Skattning av R-indikatorn En skattning av ges av där 14 är designvikterna skattade svarssannolikheter Vi använde logistisk regression för att skatta svarssannolikheterna

15 Resultat R-indikatoranalys Urvals- storlek Svars- andel (%) R- indikator (%) Konfidens- intervall Maj 2015 Totalt12 09150,278,5(76,8, 80,2) Experimentgrupp5 56154,075,8(73,4, 78,3) Kontrollgrupp6 53047,080,5(78,1, 82,8) November 2015 Totalt9 02155,176,9(75,0, 78,8) Experimentgrupp6 02257,076,1(73,7, 78,4) Kontrollgrupp2 99951,479,0(75,6, 82,5) Maj 20149 08752,379,8(77,8, 81,7) November 20149 03356,180,0(78,0, 81,9) 15

16 Vet ej och partiellt bortfall i validag- frågan (%) September 2014 Maj 2015 November 2015 Exp.Kontr. Exp.Kontr. Exp.Kontr. Vet ej18,018,5 10,813,7 12,717,1 Partiellt bortfall 1,91,8 1,21,6 0,91,4 16

17 Konsistens Samma partival i två omgångar ExperimentKontrollTotalt September 2014 90,7 85,4 89,0 Maj 2015 90,4 90,5 90,4 November 2015 91,3 92,5 91,6 17 September 2014: Andel svarande som uppger samma parti i maj 2014 och i september 2014 på frågan om partival i senaste riksdagsval Maj 2015: jämför november 2014 och maj 2015 November 2015: jämför maj 2015 och november 2015

18 Skattning En GREG-estimator används för att skatta partifördelningen för validag. Hjälpinformation: Region Parti i senaste riksdagsval (insamlade uppgifter) 18

19 Validagskattningar, maj 2015 (%) PartiTotalt Experiment- grupp Kontroll- grupp Differens (experiment- kontroll) KI för differensen Centerpartiet 6,56,16,8-0.7(-2.0, 0,6) Folkpartiet 4,6 -0,1(-1,2, 1,0) Moderaterna 25,725,126,3-1,2(-3,6, 1,2) Kristdemokraterna 3,94,13,60,5(-0,6, 1,5) Socialdemokraterna 29,4 0,0(-2,6, 2,5) Vänsterpartiet 6,36,66,00,6(-0,7, 1,9) Miljöpartiet 6,56,07,0-1,0(-2,3, 0,4) Sverigedemokraterna 14,715,114,40,7(-1,5, 2,9) Övriga 2,43,01,91,1(0,2, 1,9) 19

20 Validagskattningar, november 2015 (%) PartiTotalt Experiment- grupp Kontroll- grupp Differens (experiment- kontroll) KI för differensen Centerpartiet 6,86,96,60,3(-1,3, 1,8) Folkpartiet 5,55,06,8-1,8(-3,5, -0,2) Moderaterna 22,722,124,1-2,0(-4,9, 0,9) Kristdemokraterna 3,73,64,1-0,5(-1,8, 0,8) Socialdemokraterna 27,4 27,5-0,2(-3,2, 2,8) Vänsterpartiet 5,85,66,3-0,7(-2,3, 0,9) Miljöpartiet 5,85,95,50,5(-1,0, 1,9) Sverigedemokraterna 19,920,917,73,3(0,4, 6,1) Övriga 2,32,71,51,2(0,3, 2,1) 20

21 Slutsatser Svarsfrekvenser + Högre svarsfrekvens i experimentgruppen än i kontrollgruppen (både med e-post och brev) + Högre svarsfrekvens, särskilt bland ej anträffade vid tidigare undersökningsomgång - Mindre balanserad svarsmängd? Skattning, data Inga skillnader i datakvalitet (partiellt bortfall, vet ej svar) Liknande skattningar av partifördelningen Kostnader Initial kostnad I maj 2015 kom 42% av svaren in via webb, i november 2015 kom 44% in via webb Med webb når vi även de som är svåra att få kontakt med (ej anträffade/sena intervjuer) 21

22 Tack! 22 Mikaela Järnbert Mikaela.Jarnbert@scb.se Tiina Orusild Tiina.Orusild@scb.se