Statistik och utvärdering Johan Bring och mats Nyfjäll

Frågekonstruktion

Frågekonstruktion Fråge- konstruktion Psykologi Statistik kunskap Områdes- Erfarenhet känsla Språk-

Allmänt Noggrant formulerade frågor Väl avvägda svarsalternativ Frågorna bör utformas med tanke på vem som besvarar dem Uppgiftslämnaren måste ha kännedom och nödvändiga kunskaper

Validitet -Reliabilitet Samhällsvetenskapligt problem: det vi vill undersöka låter sig inte alltid observeras direkt När abstrakta begrepp görs mätbara riskerar vi mätfel 2 huvudtyper: Systematiska mätfel Osystematiska mätfel

Validitet - ett systematiskt mätfel upprepar sig på ett förutsägbart sätt. Mäter vi det vi avser att mäta? Handlar om giltighet. Reliabilitet - ett osystematiskt mätfel beter sig på ett slumpmässigt och oförutsägbart sätt. Mäter vi samma sak varje gång? Handlar om tillförlitlighet.

Termometer stick ned i kokande vatten 10 gånger, visar 90 grader varje gång. Systematisk underskattning av temperaturen, problem med validiteten. Inget problem med reliabiliteten, konsekvent 10 grader fel.

En annan termometer sticks ner i kokande vatten lika många gånger En annan termometer sticks ner i kokande vatten lika många gånger. Denna gång temperaturer mellan 90 och 110 grader. Genomsnittstemperaturen är 100 grader. Inget problem med validiteten (ingen systematisk under- eller överskattning) Reliabiliteten brister pga den osystematiska fluktuationen kring det korrekta mätvärdet

Att mäta alkoholkonsumtion hos till exempel högstadieelever – risk för problem med validitet och reliabilitet?

Exempel från undersökningen Liv & Hälsa 2008 – avser vuxen befolkning Landstingen: konstruerar audit-index som ger riskkonsument/icke riskkonsument (tillsammans med kön osv) – andelen riskkonsumenter i länet

Exempel på mindre bra frågor Ej preciserade frågor: Läser du någon veckotidning? □ Ja □ Nej Har du en långvarig sjukdom?

Några beslut vid frågekonstruktion Mätskala Antal svarsalternativ? Vet ej/ingen åsikt alternativ? Endast ord i slutändarna på skalan? Öppna eller slutna svarsalternativ? Öppet svarsalternativ ______ Lättare att få fram kvalitativa aspekter Resultaten blir svåra att systematisera och redovisa Slutna svarsalternativ □ □ □ Lättare att besvara Lättare att analysera Exempel ”antal svarsalternativ” – Uppsala länstrafik ställer frågan ”Hur viktigt är det för dig att bussen avgår på utsatt tid?”. 5-gradig skala, Mycket oviktigt – Ganska oviktigt – Varken eller – Ganska viktigt - Mycket viktigt. Vad betyder ”Varken viktigt eller oviktigt” egentligen, om det inte är viktigt så ÄR det ju oviktigt. Sk dikotom variabel, fungerar inte här. Bra/dåligt osv fungerar. Lösning: här antogs en 4-gradig skala iställe. Alternativ: Inte alls viktigt/Ganska viktigt/Mycket viktigt. Skala med jämnt antal – tvingar folk att ta ställning. Få svarsalternativ är alltid att föredra, förenkla!

Några tips vid frågekonstruktion Eftersträva ett språk med korta meningar och ett enkelt språk Undvik ord som få, några, många, vanligtvis Försök ha så få frågor som möjligt (givet att de besvarar frågeställningarna) Precisera frågan i tid och rum Undvik dubbel negation Är du emot en lag som inte tillåter... Ställ bara en fråga i varje fråga Vad anser du om xx och yy?

Några tips forts. Undvik ledande frågor. De flesta läkare anser idag att ... Anser du att ... Ta inte för givet att alla är insatta i ämnet. Är du för eller emot de nya taxeringsvärdena? En enkät är inte alltid rätt forum. Det är här kvalitativa och kvantitativa metoder kompletterar varandra (ex. intervju/ enkät). Tänk på vem respondenten är – lojalitetsproblem? Svarar man sanningsenligt om det innebär att man kritiserar sin chef? Om man vill kunna skriva ”myndigheten anser…” måste man fundera på om respondenten har ”rätt” att svara, kanske är en tjänsteman inte den enkäten skall ställas till i det läget, chefen eller liknande kanske är bättre.

Har ni synpunkter på denna fråga? Hur stor andel (procent) av antalet livsmedelsinköp under en vecka gör Ni normalt på en stormarknad? (Svara med ett procenttal) ________procent

Ytterligare exempel □ Ja □ Nej □ Vet ej Är du positivt inställd till privata alternativ inom barnomsorgen? □ Ja □ Nej □ Vet ej

Ytterligare exempel ”Sedan ett år tillbaka, dvs. sedan Du gick med i studien: Har du gått i någon rehabilitering för rygg/nacke/axelbesvär minst tre gånger / vecka på någon annan inrättning eller behandlingsmottagning än kliniken X och där träffat flera typer av vårdpersonal, t.ex. läkare, sjukgymnast, kurator osv. som samarbetar med varandra och dig för att försöka minska dina besvär?” Faktiskt ex från patientenkät

Fler exempel

Hur lyckat har ditt liv varit? Inte alls lyckat Ext-remt lyckat 1 2 3 4 5 6 7 8 9 10 -5 -4 -3 -2 -1

Restaurang Humlan Uppsala universitet

Varför så konstiga resultat?

CASM-modellen, (Cognitive Aspects of Survey Methodology) Respondenten måste för att kunna svara korrekt Förstå frågan Hämta information – vad skall hämtas? Bedömning – vilka delar av informationen ingår i svaret? Anpassa sin bedömning till befintliga svarsalternativ

Ett aktuellt rättegångsfall Copyswede anger att privatkopiering på datorer och surfplattor är ”frekvent förekommande” och ”vanligt förekommande”

Förklaringen Kopiering av RÖRLIG BILD (film, tv-program, filmklipp och/eller annan rörlig bild) Nu kommer några frågor som avser att ta reda på om du kopierar filer med rörliga bilder (film, tv-program, filmklipp och/eller annan rörlig bild) till din dator. Här är det viktigt att du enbart tänker på filer som du har kopierat för privat bruk. Med kopiering avses härvid att spara, ladda ner, lagra film, tv-program eller/och filmklipp på din dator. Med kopiering för privat bruk avses sådan kopiering som bara sker till dig själv eller din närmaste familj/dina närmaste vänner. Bortse från material från illegala fildelningssajter. Du ska också bortse från kopior du gjort av egenskapat (personligt) material, dvs filmer eller videoklipp du själv har skapat och som inte givits ut eller publicerats. Några frågor avser också att ta reda på varifrån de rörliga bilder du kopierat kom, dvs, från vilken källa har du kopierat.

Frågan Har du någon gång kopierat film, tv-program, filmklipp och/eller annan rörlig bild till din dator?

Studiedesign Har dödsstraff en effekt på mordfrekvensen?

Exempel Vad blev effekten av sänkt bokmoms? Vad är effekten av friskolor på kvaliteten på de kommunala skolorna? Vad blev effekten av lördagsöppet på systemet? Vilken effekt har ett visst arbets-marknadspolitiskt program på arbetslösheten?

Effektmätning? Resultatvariabel R Åtgärdsvariabel Å Antal sålda böcker Skolbetygen i den kommunala skolan Antalet misshandelsfall Åtgärdsvariabel Å Sänkt bokmoms Tillåta friskolor Lördagsöppet på systemet

Orsaksbegreppet (kausalitet) Vad innebär det att Å orsakar R? Vad menas t.ex. med att rökning orsakar lungcancer?

Vad är effekten av Å? Effekten = (R med åtgärden Å) – (R utan åtgärden Å) E = (R|Å) - (R|ejÅ) E = faktiskt tillstånd – kontrafaktiskt tillstånd E = Det som inte skulle ha hänt om åtgärden inte vidtagits.

Det kontrafaktiska tillståndet är en situation där allt annat är lika förutom åtgärds variabeln. Låt oss kalla alla andra faktorer för X,Y,Z… (som vi har mätvärden på) x,y,z… (som vi ej har mätvärden på)

Faktiskt Kontra faktiskt R - E Å Ej Å X = Y Z x y z

Det faktiska tillståndet kan vi i regel mäta men inte det kontrafaktiska. Vid effektstudier bör man skatta det kontrafaktiska tillståndet så smart som möjligt för att försöka dra slutsatser om den sanna effekten. Så i stället för E = (R|Å) - (R|ejÅ) E* = (R|Å) - (R|ejÅ)* * = skattning av det sanna värdet.

Ett exempel R = chansen för en person med utländsk examen att få arbete? Å = Att få sin examen validerad/översatt av UHR.

Exempel UHR E* Översatt EJ översatt R (andel som fått jobb) - Å Ej Å X Y Z x y z

Matchad kontrollgrupp Översatt Ej översatt R (andel som fått jobb) - E* Å Ej Å X = Y Z x y z

“How often have I said to you that when you have eliminated the impossible, whatever remains, however improbable, must be the truth.” (Sherlock Holmes)

Randomiserad studie Översätt Arbete? Ny invandrare Ej översätt Arbete? Denna metod bör göra grupperna likvärdiga vad avser X,Y,Z. Men än viktigare, även vad avser x,y,z.

Effekten? Empiri Teori

Samhällsvetenskapliga experiment

Effekten av lördagsöppet på systembolaget? I juli 1981 förbjöds lördagsöppet på systemet. Utvärderingar visade på en minskad alkoholförsäljning med ca. 6%. Design före – intervention - efter

Lördagsöppet på systemet I februari år 2000 startade en försöksverksamhet med lördagsöppet i vissa systembutiker. Försöket skulle enligt propositionen följas vetenskapligt och utvärderas efter ett år. Å = lördagsöppet R = alkoholförsäljning, antal misshandelsfall, rattfylleri

ALI och 6 timmars arbetsdag Vilken effekt har 6 timmars arbetsdag på hälsan (i förhållande till 8 timmar)? 800 personer delades in i två grupper A fortsätta arbeta 8 timmar B bara jobba 6 timmar (samma lön!)

Statisticon AB Vi ser livet bakom siffrorna +46 (0)10 130 80 00, info@statisticon.se, www.statisticon.se Östra Ågatan 31, SE-753 22 Uppsala Klara Södra Kyrkogata 1, Box 837, SE-101 36 Stockholm Sweden