Presentation laddar. Vänta.

Presentation laddar. Vänta.

Statistik och utvärdering Johan Bring och mats Nyfjäll.

Liknande presentationer


En presentation över ämnet: "Statistik och utvärdering Johan Bring och mats Nyfjäll."— Presentationens avskrift:

1 Statistik och utvärdering Johan Bring och mats Nyfjäll

2 Frågekonstruktion

3 Fråge- konstruktion PsykologiStatistik Områdes- kunskap Erfarenhet Språk- känsla

4 Allmänt Noggrant formulerade frågor Väl avvägda svarsalternativ Frågorna bör utformas med tanke på vem som besvarar dem Uppgiftslämnaren måste ha kännedom och nödvändiga kunskaper

5 Validitet -Reliabilitet Samhällsvetenskapligt problem: det vi vill undersöka låter sig inte alltid observeras direkt När abstrakta begrepp görs mätbara riskerar vi mätfel 2 huvudtyper: –Systematiska mätfel –Osystematiska mätfel

6 Validitet - ett systematiskt mätfel upprepar sig på ett förutsägbart sätt. Mäter vi det vi avser att mäta? Handlar om giltighet. Reliabilitet - ett osystematiskt mätfel beter sig på ett slumpmässigt och oförutsägbart sätt. Mäter vi samma sak varje gång? Handlar om tillförlitlighet.

7 Termometer stick ned i kokande vatten 10 gånger, visar 90 grader varje gång. –Systematisk underskattning av temperaturen, problem med validiteten. – Inget problem med reliabiliteten, konsekvent 10 grader fel.

8 En annan termometer sticks ner i kokande vatten lika många gånger. Denna gång temperaturer mellan 90 och 110 grader. Genomsnittstemperaturen är 100 grader. –Inget problem med validiteten (ingen systematisk under- eller överskattning) –Reliabiliteten brister pga den osystematiska fluktuationen kring det korrekta mätvärdet

9 Att mäta alkoholkonsumtion hos till exempel högstadieelever – risk för problem med validitet och reliabilitet?

10 Exempel från undersökningen Liv & Hälsa 2008 – avser vuxen befolkning

11 Exempel på mindre bra frågor Ej preciserade frågor: Läser du någon veckotidning? □ Ja □ Nej Har du en långvarig sjukdom? □ Ja □ Nej

12 Några beslut vid frågekonstruktion Mätskala –Antal svarsalternativ? –Vet ej/ingen åsikt alternativ? –Endast ord i slutändarna på skalan? –Öppna eller slutna svarsalternativ? Öppet svarsalternativ ______ –Lättare att få fram kvalitativa aspekter –Resultaten blir svåra att systematisera och redovisa Slutna svarsalternativ □ □ □ –Lättare att besvara –Lättare att analysera

13 Några tips vid frågekonstruktion –Eftersträva ett språk med korta meningar och ett enkelt språk –Undvik ord som få, några, många, vanligtvis –Försök ha så få frågor som möjligt (givet att de besvarar frågeställningarna) –Precisera frågan i tid och rum –Undvik dubbel negation Är du emot en lag som inte tillåter... –Ställ bara en fråga i varje fråga Vad anser du om xx och yy?

14 Några tips forts. –Undvik ledande frågor. De flesta läkare anser idag att... Anser du att... –Ta inte för givet att alla är insatta i ämnet. Är du för eller emot de nya taxeringsvärdena? –En enkät är inte alltid rätt forum. Det är här kvalitativa och kvantitativa metoder kompletterar varandra (ex. intervju/ enkät). –Tänk på vem respondenten är – lojalitetsproblem?

15 Har ni synpunkter på denna fråga? Hur stor andel (procent) av antalet livsmedelsinköp under en vecka gör Ni normalt på en stormarknad? (Svara med ett procenttal) ________procent

16 Ytterligare exempel Är du positivt inställd till privata alternativ inom barnomsorgen? □ Ja □ Nej □ Vet ej

17 Ytterligare exempel ” Sedan ett år tillbaka, dvs. sedan Du gick med i studien: Har du gått i någon rehabilitering för rygg/nacke/axelbesvär minst tre gånger / vecka på någon annan inrättning eller behandlingsmottagning än kliniken X och där träffat flera typer av vårdpersonal, t.ex. läkare, sjukgymnast, kurator osv. som samarbetar med varandra och dig för att försöka minska dina besvär?”

18 Fler exempel

19 Hur lyckat har ditt liv varit? Inte alls lyckat Ext- remt lyckat Inte alls lyckat Ext- remt lyckat

20 Restaurang Humlan Uppsala universitet

21 Varför så konstiga resultat?

22 CASM-modellen, (Cognitive Aspects of Survey Methodology) Respondenten måste för att kunna svara korrekt –Förstå frågan –Hämta information – vad skall hämtas? –Bedömning – vilka delar av informationen ingår i svaret? –Anpassa sin bedömning till befintliga svarsalternativ

23 Ett aktuellt rättegångsfall Copyswede anger att privatkopiering på datorer och surfplattor är ”frekvent förekommande” och ”vanligt förekommande” 23

24 24

25 Förklaringen Kopiering av RÖRLIG BILD (film, tv-program, filmklipp och/eller annan rörlig bild) Nu kommer några frågor som avser att ta reda på om du kopierar filer med rörliga bilder (film, tv-program, filmklipp och/eller annan rörlig bild) till din dator. Här är det viktigt att du enbart tänker på filer som du har kopierat för privat bruk. Med kopiering avses härvid att spara, ladda ner, lagra film, tv-program eller/och filmklipp på din dator. Med kopiering för privat bruk avses sådan kopiering som bara sker till dig själv eller din närmaste familj/dina närmaste vänner. Bortse från material från illegala fildelningssajter. Du ska också bortse från kopior du gjort av egenskapat (personligt) material, dvs filmer eller videoklipp du själv har skapat och som inte givits ut eller publicerats. Några frågor avser också att ta reda på varifrån de rörliga bilder du kopierat kom, dvs, från vilken källa har du kopierat. 25

26 Frågan Har du någon gång kopierat film, tv- program, filmklipp och/eller annan rörlig bild till din dator? 26

27 Studiedesign Har dödsstraff en effekt på mordfrekvensen?

28 Exempel Vad blev effekten av sänkt bokmoms? Vad är effekten av friskolor på kvaliteten på de kommunala skolorna? Vad blev effekten av lördagsöppet på systemet? Vilken effekt har ett visst arbets- marknadspolitiskt program på arbetslösheten?

29 Effektmätning? Åtgärdsvariabel Å –Sänkt bokmoms –Tillåta friskolor –Lördagsöppet på systemet Resultatvariabel R –Antal sålda böcker –Skolbetygen i den kommunala skolan –Antalet misshandelsfall

30 Orsaksbegreppet (kausalitet) Vad innebär det att Å orsakar R? Vad menas t.ex. med att rökning orsakar lungcancer?

31 Vad är effekten av Å? Effekten = (R med åtgärden Å) – (R utan åtgärden Å) E = (R|Å) - (R|ejÅ) E = faktiskt tillstånd – kontrafaktiskt tillstånd E = Det som inte skulle ha hänt om åtgärden inte vidtagits.

32 Det kontrafaktiska tillståndet är en situation där allt annat är lika förutom åtgärds variabeln. Låt oss kalla alla andra faktorer för X,Y,Z… (som vi har mätvärden på) x,y,z… (som vi ej har mätvärden på)

33 FaktisktKontra faktiskt R -R E ÅEj Å X=X Y=Y Z=Z x=x y=y z=z

34 Det faktiska tillståndet kan vi i regel mäta men inte det kontrafaktiska. Vid effektstudier bör man skatta det kontrafaktiska tillståndet så smart som möjligt för att försöka dra slutsatser om den sanna effekten. Så i stället för E = (R|Å) - (R|ejÅ) E* = (R|Å) - (R|ejÅ)* * = skattning av det sanna värdet.

35 Ett exempel R = chansen för en person med utländsk examen att få arbete? Å = Att få sin examen validerad/översatt av UHR.

36 Exempel UHR ÖversattEJ översatt R (andel som fått jobb) - E* ÅEj Å XX YY ZZ xx yy zz

37 Matchad kontrollgrupp ÖversattEj översatt R (andel som fått jobb) - E* ÅEj Å X=X Y=Y Z=Z xx yy zz

38 “How often have I said to you that when you have eliminated the impossible, whatever remains, however improbable, must be the truth.” (Sherlock Holmes)

39 Randomiserad studie Ny invandrare Översätt Ej översätt Arbete? Denna metod bör göra grupperna likvärdiga vad avser X,Y,Z. Men än viktigare, även vad avser x,y,z.

40 Effekten? EmpiriTeori

41 Samhällsvetenskapliga experiment

42 Effekten av lördagsöppet på systembolaget? I juli 1981 förbjöds lördagsöppet på systemet. Utvärderingar visade på en minskad alkoholförsäljning med ca. 6%. Design före – intervention - efter

43 Lördagsöppet på systemet I februari år 2000 startade en försöksverksamhet med lördagsöppet i vissa systembutiker. Försöket skulle enligt propositionen följas vetenskapligt och utvärderas efter ett år. Å = lördagsöppet R = alkoholförsäljning, antal misshandelsfall, rattfylleri

44 ALI och 6 timmars arbetsdag Vilken effekt har 6 timmars arbetsdag på hälsan (i förhållande till 8 timmar)? 800 personer delades in i två grupper –A fortsätta arbeta 8 timmar –B bara jobba 6 timmar (samma lön!)

45 Statisticon AB Vi ser livet bakom siffrorna +46 (0) , Östra Ågatan 31, SE Uppsala Klara Södra Kyrkogata 1, Box 837, SE Stockholm Sweden


Ladda ner ppt "Statistik och utvärdering Johan Bring och mats Nyfjäll."

Liknande presentationer


Google-annonser