Presentation laddar. Vänta.

Presentation laddar. Vänta.

Webbpanelkommittén Rapport från Surveyföreningens webbpanelkommitté (2) - Kan vi få fram bra kvalitetsmått på webbpaneler? Mats Nyfjäll Frimis 2010-10-20.

Liknande presentationer


En presentation över ämnet: "Webbpanelkommittén Rapport från Surveyföreningens webbpanelkommitté (2) - Kan vi få fram bra kvalitetsmått på webbpaneler? Mats Nyfjäll Frimis 2010-10-20."— Presentationens avskrift:

1 Webbpanelkommittén Rapport från Surveyföreningens webbpanelkommitté (2) - Kan vi få fram bra kvalitetsmått på webbpaneler? Mats Nyfjäll Frimis

2 Webbpanelkommittén Bakgrund Allt vanligare med undersökningar utförda på s.k. webbpaneler, accesspaneler Panelerna rekryteras olika Svårt att utvärdera kvaliteten i resultat Webbpanelkommittén tillsattes

3 Webbpanelkommittén Gösta Forsman, Trafikverket (ordförande) Jan Wretman, Stockholms universitet Karin Dahmström, Stockholms universitet Henrik Kronberg, Norstat Bengt Larsson, SMIF Åke Wissing, ISI Wissing Mats Nyfjäll, Statisticon

4 Webbpanelkommittén ISO-standarder, övriga krav ISO – Marknads, opinion och samhällsundersökningar ISO Accesspaneler inom marknads-, opinions- och samhällsundersökningar –Ett supplement att användas ihop med ISO –Termer och definitioner –Webbpanelkommittén skall samordna sitt arbete med ISO ESOMAR:s 25 frågor till webbpanelleverantörer

5 Webbpanelkommittén Webbpanelkommittén - roll att fylla ISO krav och ESOMAR:s frågor är (oftast) verbala –beskrivningar av processer, procedurer, tillvägagångssätt, krav som ska uppfyllas Webbpanelkommittén: –Föreslå olika standardmått (och beräkningsuttryck) för bedömning av kvaliteten i resultat från webbpanelundersökningar –Ta fram en skrift

6 Webbpanelkommittén Inriktning på skrift Ett syfte: –Att underlätta möjligheten att utvärdera vissa kvalitetsaspekter i en webbpanelundersökning och att möjliggöra jämförelser mellan olika webbpaneler/webbpanelleverantörer Målgrupp –Producenter, panelleverantörer –Undersökningsköpare –Användare av undersökningsresultat Omfattning –Enkel att använda, ej för omfattande, ”rätt” nivå

7 Webbpanelkommittén Webbpanelkommitténs arbete hittills Går långsamt framåt Mycket diskussioner för att få en förståelse för och samsyn kring olika aspekter på webbpanel- undersökningar Inte lätt att hitta bra mått som på ett tydligt sätt särskiljer bra från mindre bra undersökningar Insikt –Numeriska mått måste kompletteras med verbala beskrivningar av processer, tillvägagångssätt, rutiner mm

8 Webbpanelkommittén Exempel på numeriska kvalitetsmått Inspirationskällor –Callegaro, DiSogra (2008), Computing Response Metrics for Online Panels, Public Opinion Quarterly –DiSogra, Callegaro (2009), Computing Response Rates for Probability-Based Web Panels. Presented at the 2009 Joint Statistical Meetings Mått som speglar –Uppbyggnad/rekrytering –Underhåll/handhavande och förnyelse av panelen –Men även mått rörande enskilda undersökningar

9 Webbpanelkommittén Två huvudmetoder för rekrytering till webbpanel Baserat på sannolikhetsurval –Urval med enda syfte att rekrytera till panelen –Urval med andra syften där fråga om deltagande i panelen finns med Olika former av självrekryterade paneler –Rekrytering via annons, hemsida eller ”pop-up” Alla mått är inte tillämpliga på alla rekryteringsmetoder

10 Webbpanelkommittén Steg 1 - Rekryteringsfas Direktrekrytering med sannolikhetsurval. Engångsrekrytering Målpopulation för panelen Urvalsram Urvalsmängd från urvalsramen Mängd personerÅtgärd Definiera målpopulation Konstruera urvalsram Drag sannolikhetsurval ”Du är utvald för att delta i panelen.” Accepterar A 1 Ej svar/ okänd status O 1 Bekräftelse/kontroll och/eller profilundersökning Bortfall Känd status B 1 Över- täckning Ö 1 Profil- undersökning

11 Webbpanelkommittén Aspekt på rekryteringsfas Rekrytering sker ofta kontinuerligt eller i olika waves (vågor) Måttet RA går att anpassa till detta (DiSogra, Callegaro)

12 Webbpanelkommittén Steg 2 - Profilundersökning Bekräftelse/kontroll och/eller profilundersökning Bortfall Känd status B 2 Ej svar/ okänd status O 2 Svarar Ej godkänd Ö 2 Svarar och accepterar A 2 Panel/ databas Profil- undersökning

13 Webbpanelkommittén Steg 3 – Specifik undersökning Rekrytering ur panelen. Sannolikhetsurval Urvalsmängd från panelen Mängd personerÅtgärd Sannolikhetsurval Webbenkät Accepterar och svarar A 3 Ej svar/ okänd status O 3 Bortfall Känd status B 3 Över- täckning Ö 3 Panel/ databas Svarsmängd Underlag för resultatredovisning

14 Webbpanelkommittén Kumulativ deltagarsandel - multiplikativ deltagarandel Den kumulativa deltagarandelen tar hänsyn till alla tre steg för en specifik studie –Exempel: Kan endast beräknas för paneler som använt sannolikhetsbaserade urvalsmetoder i rekryteringsfasen

15 Webbpanelkommittén Aspekt En aspekt är att detta mått vanligtvis blir mycket lågt (ofta <20%) –Måttet diskriminerar inte nödvändigtvis mellan bättre och sämre genomförda undersökningar Dock: förmågan att ta fram ett sådan mått är en kvalitetsindikator i sig

16 Webbpanelkommittén Exempel 2 – Attrition rate ”Uttröttnings-, utnötnings- eller avgångsandel” –Frivillig –Ofrivillig –Orsakad av övertäckningsaspekter Beräknas baserat på en kohort av rekryterade panellister –Exempel:

17 Webbpanelkommittén Vilka mått/beskrivningar är relevanta? Rekryteringsfasen –RA, PA –Hur går rekryteringen till? Urvalsramar? Antagningskriterier? Handhavande av panelen/beskrivning av panelen –Attrition rate –Panelstorlek? (ej lämpligt kvalitetsmått enligt ISO) –Panelens sammansättning avseende bakgrundsvariabler? –Genomsnittlig tid en panellist är med i panelen? –Vilken population är panelen tänkt att spegla? –Genomsnittlig tid sedan profildata uppdaterades? –Genomsnittligt antal undersökningar en panellist inbjuds till per månad/år Specifika undersökningar –Deltagarandel –Urvalsmetod i specifik undersökning? –Hur har redovisade resultat beräknats?

18 Webbpanelkommittén Tack för er tid!


Ladda ner ppt "Webbpanelkommittén Rapport från Surveyföreningens webbpanelkommitté (2) - Kan vi få fram bra kvalitetsmått på webbpaneler? Mats Nyfjäll Frimis 2010-10-20."

Liknande presentationer


Google-annonser