Mixed mode – ett mättekniskt perspektiv

En presentation över ämnet: "Mixed mode – ett mättekniskt perspektiv"— Presentationens avskrift:

1 Mixed mode – ett mättekniskt perspektiv
Fredrik Scheffer Enheten för Mätteknik (PCA) SCB

2 Lite fakta om Partisympati Undersökningen
Maj och November sedan1972 Syfte: Att beskriva den politiska opinionen I Sverige Tre paneler. Varje person deltar tre gånger. Telefonintervju

3 Lite fakta om Partisympati Undersökningen
Maj och November sedan1972 Syfte: Att beskriva den politiska opinionen I Sverige Tre paneler. Varje person deltar tre gånger. Telefonintervju  PROJEKT: Låta respondenterna i andra rundan välja att svara via webb.

4 PSU – mixed mode - mätteknik
När man ska designa för mixed mode tele/webb ställs skillnaderna mellan datainsamlingsmetoderna på sin spets

5 Att ”mixa” telefon och webb
En mix av en självadministrerad (webb) och en intervjuar-baserad metod Två centrala skillnader Intervjuare – eller inte Informationstyp – visuell eller ljud

6 Mixing telephone interview and web
Intervjuaren kan: Förklara frågan Ge instruktioner ”vid behov” Sköta hopp, rutter och loopar Ta hand om ”klassa” respondents svar Med en intervjuare Socialt snarare än privat -> Social önskvärdhet, hålla-med etc Mixing telephone interview and web Två centrala skillnader Intervjuare – eller inte Informationstyp – visuell eller ljud

7 Mixing telephone interview and web
Ljud: Minimera information Ingen layout Större krav på tydlighet i frågan Visuell Format och layout viktigt Svarsalt. hjälper till att förklara frågan Två centrala skillnader Intervjuare – eller inte Informationstyp – visuell eller ljud

8 Mixed mode PSU - telefon
Om det var val idag, vilket parti skulle du rösta på? Svar:……………………………………………………. (Intervjuaren kodar)

9 PSU - telefon och web 1:a utmaningen
1) Att designa partifrågorna för webben  Vilket parti skulle du rösta på…? CENTERPARTIET (C) FOLKPARTIET (FP) KRISTDEMOKRATERNA (KD) MODERATERNA (M) SOCIALDEMOKRATERNA (S) VÄNSTERPARTIET (V) MILJÖPARTIET (MP) SVERIGEDEMOKRATERNA (SD) PIRATPARTIET (PP) FEMINISTISKT INITIATIV (FI) JUNILISTAN (JL) Annat parti. Vilket? Öppen på telefon men på webben? Stängd fråga: Mindre börda Enklare att markera än skriva Mindre kodning Öppna frågor ovanliga på webben

10 PSU - telefon och web 1:a utmaningen
Skillnader mellan öppna och stängda frågor? I öppna frågor måste respondenten själv hitta på rimliga svarsalternativ I stängda frågor får respondenten förslag på svar  Vilket parti skulle du rösta på? CENTERPARTIET (C) FOLKPARTIET (FP) KRISTDEMOKRATERNA (KD) MODERATERNA (M) SOCIALDEMOKRATERNA (S) VÄNSTERPARTIET (V) MILJÖPARTIET (MP) SVERIGEDEMOKRATERNA (SD) PIRATPARTIET (PP) FEMINISTISKT INITIATIV (FI) JUNILISTAN (JL) Annat parti, vilket? Kan leda till stora skillnader i svar! “Vad är det viktigaste för barn att lära sig inför framtiden?” Kritiskt tänkande 5% eller 62%

11 PSU - telefon och web 1:a utmaningen
Skillnader mellan öppna och stängda frågor? Ordningseffekter i stängda frågor Självadministrerade metoder – tendens att välja något av de första svarsalternativen (primacy effekt)  Vilket parti skulle du rösta på? CENTERPARTIET (C) FOLKPARTIET (FP) KRISTDEMOKRATERNA (KD) MODERATERNA (M) SOCIALDEMOKRATERNA (S) VÄNSTERPARTIET (V) MILJÖPARTIET (MP) SVERIGEDEMOKRATERNA (SD) PIRATPARTIET (PP) FEMINISTISKT INITIATIV (FI) JUNILISTAN (JL) Annat parti, vilket?

12 Alternativ design 1) Öppen fråga med “förslag”
 Vilket parti skulle du rösta på…? ………………………………………………………………………………

13 PSU – alternativ design
1) Öppen fråga med “förslag”  Vilket parti skulle du rösta på…? ……………………………………………………………………………… S o cialdemokraterna Nackdelar Högre börda och mer kodning än stängd fråga Öppna frågor ovanliga på webben Fördelar Lik telefon Minskad börda Minskad kodning

14 PSU – alternativ design
2) Stängd fråga– vänster/höger skala Vilket parti skulle du rösta på…? VÄNSTERPARTIET (V) SOCIALDEMOKRATERNA (S) MILJÖPARTIET (MP) CENTERPARTIET (C) FOLKPARTIET (FP) KRISTDEMOKRATERNA (KD) MODERATERNA (M) SVERIGEDEMOKRATERNA (SD) Fördelar Mindre börda och kodning än i öppen fråga Förståelig ordning Använd av andra (SOM) Nackdelar Skiljer sig från telefon Risk för ordningseffekter

15 PSU – alternativ design
3) Stängd fråga – slumpmässig ordning Vilket parti skulle du rösta på…? SVERIGEDEMOKRATERNA (SD) VÄNSTERPARTIET (V) SOCIALDEMOKRATERNA (S) MODERATERNA (M) MILJÖPARTIET (MP) CENTERPARTIET (C) KRISTDEMOKRATERNA (KD) FOLKPARTIET (FP) Fördelar Ordningseffekter tar ut varandra (?) Nackdelar Ingen ordning -> högre börda Vissa ordningar -> negativa reaktioner och förvirring

16 PSU – vilket förslag valde vi?
Öppen fråga med “förslag”  Vilken parti skulle du rösta på…? ……………………………………………………………………………… S o cialdemokraterna

17 PSU – men i vissa andra frågor…
Stängd fråga – vänster/höger skala … och tvärtom – höger/vänster Vilket parti skulle du rösta på…? VÄNSTERPARTIET (V) SOCIALDEMOKRATERNA (S) MILJÖPARTIET (MP) CENTERPARTIET (C) FOLKPARTIET (FP) KRISTDEMOKRATERNA (KD) MODERATERNA (M) SVERIGEDEMOKRATERNA (SD)

18 PSU - telefon och web 2:a utmaningen
Vilken parti skulle du rösta på…? CENTERPARTIET (C) FOLKPARTIET (FP) KRISTDEMOKRATERNA (KD) MODERATERNA (M) SOCIALDEMOKRATERNA (S) VÄNSTERPARTIET (V) MILJÖPARTIET (MP) SVERIGEDEMOKRATERNA (SD) PIRATPARTIET (PP) FEMINISTISKT INITIATIV (FI) JUNILISTAN (JL) Annat parti, vilket? VET INTE VÄGRAR 1sta utmaningen: 1) Att designa partifrågorna för webben 2ndra utmaningen: 2) Hur ska “vet inte” alternativet designas på webben?

19 PSU – ”Vet inte” Forskning om “Vet inte”:
Om “Vet inte” erbjuds kommer de som inte vet att ha ett giltigt svarsalternativ men vissa kommer att välja det av fel anledning. Om “Vet inte” inte erbjuds så måste de som inte vet antingen hoppa över frågan eller felaktigt välja ett alternativ på svarsskalan. Men i intervjuer behöver det inte vara varken eller. “Vet ej” kan erbjudas “vid behov” (4% vs 42%; Schuman & presser, 1981)… går dock inte på webben.

20 PSU – ”Vet inte”, möjligheter?
Ha ett traditionellt “Vet inte” alternativ Risk: satisficing (låg motivation) Ta bort “Vet inte” alternativen Risk: Felval eller hoppa över Försöka “härma” telefon T.ex. “skriva in” eller bara erbjuda “vet inte” om respondenten försöker klicka sig vidare utan att svara Ha med “vet inte” men särskilja det från övriga alternativ, T.ex. med avstånd, eller “mindre synligt”

21 Vi valde… Ha ett traditionellt “Vet inte” alternativ
Risk: satisficing (låg motivation) Ta bort “Vet inte” alternativen Risk: Felval eller hoppa över Försöka “härma” telefon T.ex. “skriva in” eller bara erbjuda “vet inte” om respondenten försöker klicka sig vidare utan att svara Ha med “vet inte” men särskilja det från övriga alternativ, T.ex. med avstånd, eller “mindre synligt”

22 Inget svar → “mjuk” kontroll
För öppen fråga…  Vilket parti skulle du rösta på? Vet inte ……………………………………………………………………………… Inget svar → “mjuk” kontroll  Vilket parti skulle du rösta på? Svar:…………………………………… □ Vet inte X

23 Med alternerad ordning…
För stängd fråga… Vilket parti skulle du rösta på…? VÄNSTERPARTIET (V) SOCIALDEMOKRATERNA (S) MILJÖPARTIET (MP) CENTERPARTIET (C) FOLKPARTIET (FP) KRISTDEMOKRATERNA (KD) MODERATERNA (M) SVERIGEDEMOKRATERNA (SD) VET EJ VÄGRAR Med alternerad ordning…

24 Summering 1st utmaningen: 2nd utmaningen:
1) Design av huvudfråga för web Öppen fråga med förslag Stängd fråga – “politiskt landskap” 2nd utmaningen: 1) Design av “Vet inte” (OQ) Låt respondenten skriva “Vet inte” – mjuk kontroll (CQ) Inkludera “Vet inte” som ett traditionellt alternativ

25 Det kommer Tiina och Mikaela prata om alldeles strax…
PSU - telefon och web Hur gick det då? Valde vi goda lösningar eller inte? Det kommer Tiina och Mikaela prata om alldeles strax…

26 Webb → Smarttelefoner Två insamlingsmetoder? Skärmstorlek
Frånvaro av fysiskt tangentbord och mus Var man befinner sig när man svarar

27 Webblankett via mobil – vad vet vi?
Smarttelefoner Webblankett via mobil – vad vet vi? Högre andel avhopp Längre svarstid Färre/kortare öppna svar Risk för skevhet i svar Vissa frågetyper mycket problematiska

28 Smarttelefoner Webblankett via mobil – vad är viktigt?
Allt som rör den enskilda frågan ska synas på skärmbilden… …uppgiftslämnaren ska inte behöva scrolla (horisontellt), zooma, svepa. Undvik onödiga element Tablåfrågor → separata frågor

29 Smarttelefoner Insamlingsverktyget bör kunna anpassa sig till vilken enhet uppgiftslämnaren använder!

30 Smarttelefoner Webblankett via mobil
Ny värld av paradata (”data om data”)… …gör applikationen redo att samla in detta, t.ex. svarstid, enhet (device) m.m. Kommer troligen öka men sannolikt aldrig bra för längre undersökningar…

31 Designbeslut Mixed mode
Unimode design – Mode specific design

32 Designbeslut Mixed mode
Unimode design: I denna variant ses inte datainsamlingsmetoderna som separata utan som gemensamma. Samma (eller så likvärdiga som möjligt) frågeformulär ska administreras, oavsett datainsamlingsmetod. Mode-specifik design: Enligt detta synsätt tillåts förändringar av fråge-formuleringar eller format om det krävs för att kommunicera samma sak i olika datainsamlingsmetoder.

33 Designbeslut Mixed mode
Unimode design – Mode specific design Viktigt att beakta i början av processen!

34 Tack för mig!