Att dra slutsatser från webbpanelundersökningar Frimis Jan Wretman 1

• Kan man generalisera från stickprov till population? • Alla slutsatser är osäkra. Hur osäkra? • Hur har urvalet gjorts? 2

• Urval i två steg: Population → Panel → Stickprov • Slutsatser: Population ← Panel ← Stickprov 3

Två frågor om urvalet: 1.Hur har panelen skapats? 2.Hur har stickprovet valts från panelen? 4

Grundläggande begrepp (åtminstone för en statistiker): • Sannolikhetsurval • Icke-sannolikhetsurval 5

Sannolikhetsurval: • Väldefinierad population • Urvalsram • Kända sannolikheter 6

Icke-sannolikhetsurval: Allt som inte är sannolikhetsurval, t.ex. • Självselektion • Kvotaurval • ”Purposive selection” • Snöbollsurval 7

• Genombrott för slh-urval med Neyman • Har länge setts som det enda ”vetenskapligt” korrekta. • Traditionell statistikutbildning betonar sannolikhetsurval. 8

• Blir det bättre resultat med slh- urval än med icke-slh-urval? • Inte säkert. Men vid icke-slh- urval saknas metodik för att mäta resultatens osäkerhet. 9

Komplikationer i praktiken vid undersökningar med slh-urval: • Täckningsfel • Bortfall • Mätfel • Bearbetningsfel 10

• Bortfall och undertäckning gör att de formella villkoren för slh-urval inte alltid blir uppfyllda i prakti- ken. • Speciellt är bortfallet ett växande problem. 11

• ”Litet” bortfall: Man gör vissa justeringar och ser det ändå som slh-urval. • ”Stort” bortfall: Inget att göra. Undersökningen misslyckad. • Var går gränsen mellan ”stort” och ”litet”? Finns inget svar. 12

Hur är det vid webbpanelunder- sökningar? • Hur har urvalen gjorts? • Kan man tala om ”bortfall”? • Hur stort är bortfallet i så fall? • Hur säkra blir slutsatserna? • Finns det mått på osäkerheten? 13

FALL 1: Självrekryterad panel • Icke-sannolikhetsurval • Inga sannolikhetsresonemang • Kan inte tala om ”bortfall” • Hur resonera om resultatens osäkerhet? 14

Tre exempel på frågor när man vill bedöma resultatens osäker- het: 1. Är det möjligt att de svarande skiljer sig mycket från populatio- nen m.a.p. undersökningsvaria- belns fördelning? 15

(Tre frågor, forts.) 2. Hur ser de svarandes fördel- ning ut m.a.p. vissa bakgrunds- variabler, jämfört med popula- tionen? 16

(Tre frågor, forts.) 3. Hur var det med personernas villighet att medverka i undersök- ningen? 17

AAPOR (2010) säger : ”Researchers should avoid nonproba- bility online panels when one of the research objectives is to accurately estimate populaton values.... claims of ”representativeness” should be avoided when using these sample sources.” 18

Elakt citat från Neyman (1934) om purposive selection: ”Of course it may give sometimes perfect results, but these will be due rather to the uncontrollable intuition of the investigator and good luck than to the method itself.” 19

FALL 2: Rekrytering till panelen i samband med omnibusundersök- ning. Antag dessutom slh-urval, dvs.: • Omnibus med slh-urval • Slh-urval från panelen 20

Problem: Bortfall Påhittat räkneexempel : Omnibus40% svar Rekrytering40% av föreg. Profilunders.70% kvar av föreg. Panelunders.40% svar 21

(Räkneex. forts.) • Efter profilunders. kvarstår ung. 11% av det ursprungliga urvalet. (0,4 × 0,4 × 0,7 = 0,112) 22

(Räkneex. forts.) • Panelen kan i realiteten knappast ses som erhållen genom slh-urval • Sedan tillkommer bortfallet i den specifika undersökningen 23

(Räkneex. forts.) • Även fast man eftersträvat formellt slh-urval i båda urvals- stegen, så kan man (p.g.a. bort- fallet) slutligen ändå inte räkna som om data vore erhållna genom slh-urval. 24

(Räkneex. forts.) • Man är hänvisad till samma sorts resonemang som när man drar slutsatser från icke-slh-urval. 25

Vilket ska man föredra : 1. Unders. med icke-slh-urval från början? eller 2. Unders. med slh-urval från början men med så stort bortfall att teorin för slh-urval ändå inte kan användas? 26

• Svårt att svara på detta. • Personligen lutar jag nog åt alt. (2), men det kanske bara beror på att jag är en så indoktrinerad statistiker. SLUT 27