Rapport från Surveyföreningens webbpanelkommitté (2) - Kan vi få fram bra kvalitetsmått på webbpaneler? Mats Nyfjäll Frimis 2010-10-20.

En presentation över ämnet: "Rapport från Surveyföreningens webbpanelkommitté (2) - Kan vi få fram bra kvalitetsmått på webbpaneler? Mats Nyfjäll Frimis 2010-10-20."— Presentationens avskrift:

1 Rapport från Surveyföreningens webbpanelkommitté (2) - Kan vi få fram bra kvalitetsmått på webbpaneler? Mats Nyfjäll Frimis

2 Bakgrund Allt vanligare med undersökningar utförda på s.k. webbpaneler, accesspaneler Panelerna rekryteras olika Svårt att utvärdera kvaliteten i resultat Webbpanelkommittén tillsattes Market research är den sektor som använder webbpaneler/accesspaneler mest Sannolikhetsurval till självrekryterade paneler Initiativtagare Gösta Forsman

3 Webbpanelkommittén Gösta Forsman, Trafikverket (ordförande)
Jan Wretman, Stockholms universitet Karin Dahmström, Stockholms universitet Henrik Kronberg, Norstat Bengt Larsson, SMIF Åke Wissing, ISI Wissing Mats Nyfjäll, Statisticon

4 ISO-standarder, övriga krav
ISO – Marknads, opinion och samhällsundersökningar ISO Accesspaneler inom marknads-, opinions- och samhällsundersökningar Ett supplement att användas ihop med ISO 20252 Termer och definitioner Webbpanelkommittén skall samordna sitt arbete med ISO 26362 ESOMAR:s 25 frågor till webbpanelleverantörer

5 Webbpanelkommittén - roll att fylla
ISO krav och ESOMAR:s frågor är (oftast) verbala beskrivningar av processer, procedurer, tillvägagångssätt, krav som ska uppfyllas Webbpanelkommittén: Föreslå olika standardmått (och beräkningsuttryck) för bedömning av kvaliteten i resultat från webbpanelundersökningar Ta fram en skrift

6 Inriktning på skrift Ett syfte: Målgrupp Omfattning
Att underlätta möjligheten att utvärdera vissa kvalitetsaspekter i en webbpanelundersökning och att möjliggöra jämförelser mellan olika webbpaneler/webbpanelleverantörer Målgrupp Producenter, panelleverantörer Undersökningsköpare Användare av undersökningsresultat Omfattning Enkel att använda, ej för omfattande, ”rätt” nivå Om skriften kan fungera på samma sätt som bortfallsstandarden är det utmärkt Måtten som presenteras måste upplevas RELEVANTA Omfattning: AAPOR har tagit fram en skrift (AAPOR Report on Online Panels) som är mycket omfattande 80 sidor (med appendix)

7 Webbpanelkommitténs arbete hittills
Går långsamt framåt Mycket diskussioner för att få en förståelse för och samsyn kring olika aspekter på webbpanel-undersökningar Inte lätt att hitta bra mått som på ett tydligt sätt särskiljer bra från mindre bra undersökningar Insikt Numeriska mått måste kompletteras med verbala beskrivningar av processer, tillvägagångssätt, rutiner mm

8 Exempel på numeriska kvalitetsmått
Inspirationskällor Callegaro, DiSogra (2008), Computing Response Metrics for Online Panels, Public Opinion Quarterly DiSogra, Callegaro (2009), Computing Response Rates for Probability-Based Web Panels. Presented at the 2009 Joint Statistical Meetings Mått som speglar Uppbyggnad/rekrytering Underhåll/handhavande och förnyelse av panelen Men även mått rörande enskilda undersökningar

9 Två huvudmetoder för rekrytering till webbpanel
Baserat på sannolikhetsurval Urval med enda syfte att rekrytera till panelen Urval med andra syften där fråga om deltagande i panelen finns med Olika former av självrekryterade paneler Rekrytering via annons, hemsida eller ”pop-up” Alla mått är inte tillämpliga på alla rekryteringsmetoder

10 Steg 1 - Rekryteringsfas
Direktrekrytering med sannolikhetsurval. Engångsrekrytering Åtgärd Mängd personer Definiera målpopulation Målpopulation för panelen Konstruera urvalsram Urvalsram Drag sannolikhetsurval Urvalsmängd från urvalsramen ”Du är utvald för att delta i panelen.” Bortfall Känd status B1 Över- täckning Ö1 Accepterar A1 Ej svar/ okänd status O1 Om rekryteringen är via andra undersökningar läggs ett steg till: Accepterar att delta i undersökningen och därefter accepterar att delta i panelen. RA kan endast beräknas vid paneler som baseras på sannolikhetsurval! Bekräftelse/kontroll och/eller profilundersökning Profil-undersökning

11 Aspekt på rekryteringsfas
Rekrytering sker ofta kontinuerligt eller i olika waves (vågor) Måttet RA går att anpassa till detta (DiSogra, Callegaro)

12 Steg 2 - Profilundersökning
Bekräftelse/kontroll och/eller profilundersökning Svarar och accepterar A2 Ej svar/ okänd status O2 Bortfall Känd status B2 Svarar Ej godkänd Ö2 Panel/ databas Syfte med profilundersökning Skapa information för att validera och granska panelmedlemmar Skapa relevanta potentiella stratifieringsvariabler för kommande undersökningar Dubblerat medgivande (double opt in)

13 Steg 3 – Specifik undersökning
Rekrytering ur panelen. Sannolikhetsurval Åtgärd Mängd personer Panel/ databas Sannolikhetsurval Urvalsmängd från panelen Webbenkät Över- täckning Ö3 Ej svar/ okänd status O3 Accepterar och svarar A3 Bortfall Känd status B3 Deltagarandel kallas för Completion rate av Callegaro och DiSogra Tolkning: visar intresset hos panelisterna att delta och/eller förmågan hos panelleverantören att maximera samarbetsvilligheten hos panellisterna ESOMAR: Participation rate finns som fråga Q22 i ESOMAR (står ej hur det ska beräknas) ISO: Definition 3.16 deltagarfrekvens: Antal panelmedlemmar som har lämnat användbara svar dividerat med det totala antalet panelmedlemmar som inbjudits att delta. Underlag för resultatredovisning Svarsmängd

14 Kumulativ deltagarsandel - multiplikativ deltagarandel
Den kumulativa deltagarandelen tar hänsyn till alla tre steg för en specifik studie Exempel: Kan endast beräknas för paneler som använt sannolikhetsbaserade urvalsmetoder i rekryteringsfasen Svenskterminologin är inte bestämd än. Callegaro och DiSogra kallar detta mått Cumulative Response Rate. ISO-standarden föreslår att man inte använder begreppet svarsfrekvens utan deltagarfrekvens.

15 Aspekt En aspekt är att detta mått vanligtvis blir mycket lågt (ofta <20%) Måttet diskriminerar inte nödvändigtvis mellan bättre och sämre genomförda undersökningar Dock: förmågan att ta fram ett sådan mått är en kvalitetsindikator i sig

16 Exempel 2 – Attrition rate
”Uttröttnings-, utnötnings- eller avgångsandel” Frivillig Ofrivillig Orsakad av övertäckningsaspekter Beräknas baserat på en kohort av rekryterade panellister Exempel: Frivillig: panelmedlem begär utträde ur panelen Ofrivillig: panelmedlemmen tas bort ur panelen baserat på regler/policies hos panelleverantören. Exempel om panellisten inte har svarat på 10 undersökningar tas han/hon bort Övertäckning: panellisten överförs till en övertäckningskategori, t.ex. flyttar utomlands, andra förhållanden gör att panellisten inte kan delta (sjukdom, avliden) Varje kohort har sin egen attrition rate Tidsaspekten för analysen kan vara månad, kvartal eller år En tolkning vid hög attrition rate: kan vara resultatet av för långa undersökningar eller dålig frågekonstruktion/design

17 Vilka mått/beskrivningar är relevanta?
Rekryteringsfasen RA, PA Hur går rekryteringen till? Urvalsramar? Antagningskriterier? Handhavande av panelen/beskrivning av panelen Attrition rate Panelstorlek? (ej lämpligt kvalitetsmått enligt ISO) Panelens sammansättning avseende bakgrundsvariabler? Genomsnittlig tid en panellist är med i panelen? Vilken population är panelen tänkt att spegla? Genomsnittlig tid sedan profildata uppdaterades? Genomsnittligt antal undersökningar en panellist inbjuds till per månad/år Specifika undersökningar Deltagarandel Urvalsmetod i specifik undersökning? Hur har redovisade resultat beräknats? Hur hanteras: Professionalism Bedrägliga panellister Slarviga panelmedlemmar Belöningar Validering av panellist ´(dvs. att personen är den den säger sig vara) Dubbletteliminering (så att en person endast förekommer en gång i panelen) Absorption rate: visar på kommunikation och panelhandhavande: mäter kvaliteten på mejl-listan hos aktiva medlemmar (EI-BB-NET)/EI se sid 1021 i första Callegaro Break off rate BO/(I+P+BO) se sid 1022 i första Callegaro Screening completion rate SCQ/((SCQ+SCNQ) se sid 1023 i första Callegaro

18 Tack för er tid!