Mixed mode – ett mättekniskt perspektiv Fredrik Scheffer (fredrik.scheffer@scb.se) Enheten för Mätteknik (PCA) SCB

Lite fakta om Partisympati Undersökningen Maj och November sedan1972 Syfte: Att beskriva den politiska opinionen I Sverige Tre paneler. Varje person deltar tre gånger. Telefonintervju

Lite fakta om Partisympati Undersökningen Maj och November sedan1972 Syfte: Att beskriva den politiska opinionen I Sverige Tre paneler. Varje person deltar tre gånger. Telefonintervju  PROJEKT: Låta respondenterna i andra rundan välja att svara via webb.

PSU – mixed mode - mätteknik När man ska designa för mixed mode tele/webb ställs skillnaderna mellan datainsamlingsmetoderna på sin spets 2018-12-30

Att ”mixa” telefon och webb En mix av en självadministrerad (webb) och en intervjuar-baserad metod Två centrala skillnader Intervjuare – eller inte Informationstyp – visuell eller ljud

Mixing telephone interview and web Intervjuaren kan: Förklara frågan Ge instruktioner ”vid behov” Sköta hopp, rutter och loopar Ta hand om ”klassa” respondents svar Med en intervjuare Socialt snarare än privat -> Social önskvärdhet, hålla-med etc Mixing telephone interview and web Två centrala skillnader Intervjuare – eller inte Informationstyp – visuell eller ljud

Mixing telephone interview and web Ljud: Minimera information Ingen layout Större krav på tydlighet i frågan Visuell Format och layout viktigt Svarsalt. hjälper till att förklara frågan Två centrala skillnader Intervjuare – eller inte Informationstyp – visuell eller ljud

Mixed mode PSU - telefon Om det var val idag, vilket parti skulle du rösta på? Svar:……………………………………………………. (Intervjuaren kodar)

PSU - telefon och web 1:a utmaningen 1) Att designa partifrågorna för webben  Vilket parti skulle du rösta på…?   CENTERPARTIET (C) FOLKPARTIET (FP) KRISTDEMOKRATERNA (KD) MODERATERNA (M) SOCIALDEMOKRATERNA (S) VÄNSTERPARTIET (V) MILJÖPARTIET (MP) SVERIGEDEMOKRATERNA (SD) PIRATPARTIET (PP) FEMINISTISKT INITIATIV (FI) JUNILISTAN (JL) Annat parti. Vilket? ............... Öppen på telefon men på webben? Stängd fråga: Mindre börda Enklare att markera än skriva Mindre kodning Öppna frågor ovanliga på webben

PSU - telefon och web 1:a utmaningen Skillnader mellan öppna och stängda frågor? I öppna frågor måste respondenten själv hitta på rimliga svarsalternativ I stängda frågor får respondenten förslag på svar  Vilket parti skulle du rösta på?   CENTERPARTIET (C) FOLKPARTIET (FP) KRISTDEMOKRATERNA (KD) MODERATERNA (M) SOCIALDEMOKRATERNA (S) VÄNSTERPARTIET (V) MILJÖPARTIET (MP) SVERIGEDEMOKRATERNA (SD) PIRATPARTIET (PP) FEMINISTISKT INITIATIV (FI) JUNILISTAN (JL) Annat parti, vilket? ............... Kan leda till stora skillnader i svar! “Vad är det viktigaste för barn att lära sig inför framtiden?” Kritiskt tänkande 5% eller 62%

PSU - telefon och web 1:a utmaningen Skillnader mellan öppna och stängda frågor? Ordningseffekter i stängda frågor Självadministrerade metoder – tendens att välja något av de första svarsalternativen (primacy effekt)  Vilket parti skulle du rösta på?   CENTERPARTIET (C) FOLKPARTIET (FP) KRISTDEMOKRATERNA (KD) MODERATERNA (M) SOCIALDEMOKRATERNA (S) VÄNSTERPARTIET (V) MILJÖPARTIET (MP) SVERIGEDEMOKRATERNA (SD) PIRATPARTIET (PP) FEMINISTISKT INITIATIV (FI) JUNILISTAN (JL) Annat parti, vilket? ...............

Alternativ design 1) Öppen fråga med “förslag”  Vilket parti skulle du rösta på…? ………………………………………………………………………………  

PSU – alternativ design 1) Öppen fråga med “förslag”  Vilket parti skulle du rösta på…? ………………………………………………………………………………   S o cialdemokraterna Nackdelar Högre börda och mer kodning än stängd fråga Öppna frågor ovanliga på webben Fördelar Lik telefon Minskad börda Minskad kodning

PSU – alternativ design 2) Stängd fråga– vänster/höger skala Vilket parti skulle du rösta på…? VÄNSTERPARTIET (V) SOCIALDEMOKRATERNA (S) MILJÖPARTIET (MP) CENTERPARTIET (C) FOLKPARTIET (FP) KRISTDEMOKRATERNA (KD) MODERATERNA (M) SVERIGEDEMOKRATERNA (SD) Fördelar Mindre börda och kodning än i öppen fråga Förståelig ordning Använd av andra (SOM) Nackdelar Skiljer sig från telefon Risk för ordningseffekter

PSU – alternativ design 3) Stängd fråga – slumpmässig ordning Vilket parti skulle du rösta på…?   SVERIGEDEMOKRATERNA (SD) VÄNSTERPARTIET (V) SOCIALDEMOKRATERNA (S) MODERATERNA (M) MILJÖPARTIET (MP) CENTERPARTIET (C) KRISTDEMOKRATERNA (KD) FOLKPARTIET (FP) Fördelar Ordningseffekter tar ut varandra (?) Nackdelar Ingen ordning -> högre börda Vissa ordningar -> negativa reaktioner och förvirring

PSU – vilket förslag valde vi? Öppen fråga med “förslag”  Vilken parti skulle du rösta på…? ………………………………………………………………………………   S o cialdemokraterna

PSU – men i vissa andra frågor… Stängd fråga – vänster/höger skala … och tvärtom – höger/vänster Vilket parti skulle du rösta på…?   VÄNSTERPARTIET (V) SOCIALDEMOKRATERNA (S) MILJÖPARTIET (MP) CENTERPARTIET (C) FOLKPARTIET (FP) KRISTDEMOKRATERNA (KD) MODERATERNA (M) SVERIGEDEMOKRATERNA (SD)

PSU - telefon och web 2:a utmaningen Vilken parti skulle du rösta på…?   CENTERPARTIET (C) FOLKPARTIET (FP) KRISTDEMOKRATERNA (KD) MODERATERNA (M) SOCIALDEMOKRATERNA (S) VÄNSTERPARTIET (V) MILJÖPARTIET (MP) SVERIGEDEMOKRATERNA (SD) PIRATPARTIET (PP) FEMINISTISKT INITIATIV (FI) JUNILISTAN (JL) Annat parti, vilket? ............... VET INTE VÄGRAR 1sta utmaningen: 1) Att designa partifrågorna för webben 2ndra utmaningen: 2) Hur ska “vet inte” alternativet designas på webben?

PSU – ”Vet inte” Forskning om “Vet inte”: Om “Vet inte” erbjuds kommer de som inte vet att ha ett giltigt svarsalternativ men vissa kommer att välja det av fel anledning. Om “Vet inte” inte erbjuds så måste de som inte vet antingen hoppa över frågan eller felaktigt välja ett alternativ på svarsskalan. Men i intervjuer behöver det inte vara varken eller. “Vet ej” kan erbjudas “vid behov” (4% vs 42%; Schuman & presser, 1981)… går dock inte på webben.

PSU – ”Vet inte”, möjligheter? Ha ett traditionellt “Vet inte” alternativ Risk: satisficing (låg motivation) Ta bort “Vet inte” alternativen Risk: Felval eller hoppa över Försöka “härma” telefon T.ex. “skriva in” eller bara erbjuda “vet inte” om respondenten försöker klicka sig vidare utan att svara Ha med “vet inte” men särskilja det från övriga alternativ, T.ex. med avstånd, eller “mindre synligt”

Vi valde… Ha ett traditionellt “Vet inte” alternativ Risk: satisficing (låg motivation) Ta bort “Vet inte” alternativen Risk: Felval eller hoppa över Försöka “härma” telefon T.ex. “skriva in” eller bara erbjuda “vet inte” om respondenten försöker klicka sig vidare utan att svara Ha med “vet inte” men särskilja det från övriga alternativ, T.ex. med avstånd, eller “mindre synligt”

Inget svar → “mjuk” kontroll För öppen fråga…  Vilket parti skulle du rösta på? Vet inte ………………………………………………………………………………   Inget svar → “mjuk” kontroll  Vilket parti skulle du rösta på?   Svar:…………………………………… □ Vet inte X

Med alternerad ordning… För stängd fråga… Vilket parti skulle du rösta på…?   VÄNSTERPARTIET (V) SOCIALDEMOKRATERNA (S) MILJÖPARTIET (MP) CENTERPARTIET (C) FOLKPARTIET (FP) KRISTDEMOKRATERNA (KD) MODERATERNA (M) SVERIGEDEMOKRATERNA (SD) VET EJ VÄGRAR Med alternerad ordning…

Summering 1st utmaningen: 2nd utmaningen: 1) Design av huvudfråga för web Öppen fråga med förslag Stängd fråga – “politiskt landskap” 2nd utmaningen: 1) Design av “Vet inte” (OQ) Låt respondenten skriva “Vet inte” – mjuk kontroll (CQ) Inkludera “Vet inte” som ett traditionellt alternativ

Det kommer Tiina och Mikaela prata om alldeles strax… PSU - telefon och web Hur gick det då? Valde vi goda lösningar eller inte? Det kommer Tiina och Mikaela prata om alldeles strax… 2018-12-30

Webb → Smarttelefoner Två insamlingsmetoder? Skärmstorlek Frånvaro av fysiskt tangentbord och mus Var man befinner sig när man svarar

Webblankett via mobil – vad vet vi? Smarttelefoner Webblankett via mobil – vad vet vi? Högre andel avhopp Längre svarstid Färre/kortare öppna svar Risk för skevhet i svar Vissa frågetyper mycket problematiska

Smarttelefoner Webblankett via mobil – vad är viktigt? Allt som rör den enskilda frågan ska synas på skärmbilden… …uppgiftslämnaren ska inte behöva scrolla (horisontellt), zooma, svepa. Undvik onödiga element Tablåfrågor → separata frågor

Smarttelefoner Insamlingsverktyget bör kunna anpassa sig till vilken enhet uppgiftslämnaren använder!

Smarttelefoner Webblankett via mobil Ny värld av paradata (”data om data”)… …gör applikationen redo att samla in detta, t.ex. svarstid, enhet (device) m.m. Kommer troligen öka men sannolikt aldrig bra för längre undersökningar…

Designbeslut Mixed mode Unimode design – Mode specific design

Designbeslut Mixed mode Unimode design: I denna variant ses inte datainsamlingsmetoderna som separata utan som gemensamma. Samma (eller så likvärdiga som möjligt) frågeformulär ska administreras, oavsett datainsamlingsmetod.   Mode-specifik design: Enligt detta synsätt tillåts förändringar av fråge-formuleringar eller format om det krävs för att kommunicera samma sak i olika datainsamlingsmetoder.

Designbeslut Mixed mode Unimode design – Mode specific design Viktigt att beakta i början av processen!

Tack för mig! Fredrik.scheffer@scb.se