Några felkällor vid statistiska undersökningar Täckningsfel –Övertäckning Urvalsramen innehåller individer som ej finns med i målpopulationen –Undertäckning.

En presentation över ämnet: "Några felkällor vid statistiska undersökningar Täckningsfel –Övertäckning Urvalsramen innehåller individer som ej finns med i målpopulationen –Undertäckning."— Presentationens avskrift:

1 Några felkällor vid statistiska undersökningar Täckningsfel –Övertäckning Urvalsramen innehåller individer som ej finns med i målpopulationen –Undertäckning Urvalsramen saknar individer som finns med i målpopulationen –Kan ge upphov till systematiska fel (bias)

2 Bortfallsfel –Individbortfall innebär att man från en eller flera individer ej får något svar på t.ex. en postenkät –Partiellt bortfall innebär svarsvägran på vissa frågor –Kan ge stora systematiska fel

3 Mätfel –Mätfel som beror på respondenten Respondenten kan vara okunnig om det sanna värdet Glömska. En del händelser kommer man inte ihåg. Andra kommer man ihåg men placerar fel i tiden. Känsliga frågor. Det kan vara svårt att få korrekta svar på frågor om sådant som konsumtion av droger, respondentens sexliv, etc. Prestigeladdade frågor. Exempel på denna typ av frågor är frågor om hur mycket man konsumerar av olika slag av ”finkultur”. Leder till s.k. prestigebias. Egenintresse. Ibland kan det ligga i respondentens intresse att svara på ett visst sätt eftersom man vet att resultatet av undersökningen kan leda till att t.ex. politiker eller andra beslutsfattare agerar på ett för respondenten önskvärt sätt.

4 –Mätfel som beror på intervjuaren Exempelvis så kan intervjuarens uppträdande påverka resultatet (intervjuareffekt). –Mätfel som beror på mätmetoden Olika mätmetoder (besöksintervju, telefonintervju, postenkät, etc) kan ge olika resultat. Exempelvis så ger ofta postenkäter sannare svar på känsliga frågor. –Mätfel som beror på frågeformuläret Oklara frågeformuleringar och definitioner, dåliga anvisningar, etc. kan ge upphov till stora systematiska fel. Även antalet frågor kan ha betydelse för kvaliteten på de data man får. Enkäter som tar lång tid att fylla i leder t.ex. i regel till större bortfall.

5 Bearbetningsfel Kodningsfel Inmatningsfel Datorbearbetningsfel

6 Experimentella studier och observationsstudier Experimentella studier: –Behandling. Försöksenheterna utsätts för vissa behandlingar i avsikt att studera effekten av dessa behandlingar –Upprepbarhet. Experimentet kan upprepas ett önskat antal gånger –Randomisering. Försöksenheterna fördelas slumpmässigt på olika behandlingar –Kontroll. Försöksbetingelserna kan i allmänhet kontrolleras och konstanthållas, eller åtminstone löpande registreras

7 Exempel Påverkas barns reaktion vid läkarbesök av läkarens klädsel? Behandlingar A=Vit rock B=Grön rock C=Civil

8 Hur skall vi mäta barns reaktion vid läkarbesök? Vad kan påverka ett barns reaktion vid läkarbesök? –Orsak till besöket –Miljö –Läkarens utseende –Osv –+ Ev läkarens klädsel, dvs orsaken till att studien genomförs.

9 Försöksuppläggning 300 barn som skall göra en obligatorisk fyraårskontroll väljs ut. Dessa möter samma läkare i samma lokal. Vilken behandling som barnet skall utsättas för (vilken klädsel läkaren bär) bestäms av slumpen. I varje behandlingsgrupp finns 100 barn. Diskutera försöksuppläggningen

10 Socialstyrelsen Randomiserade kontrollerade studier: Randomiserade kontrollerade studier är den mest tillförlitliga typen av experimentella studier. Denna typ bygger idealt på en äkta randomiserad, dvs helt slumpmässig, fördelning till experiment- och kontrollgrupp. Slumpmässigheten minskar risken för att urvalet blir skevt, i syfte att resultatet av studien ska kunna generaliseras till hela den grupp som urvalet har gjorts från. Äkta randomisering får man genom att använda slumptabell eller vissa datorprogram. Mindre idealisk randomisering sker genom till exempel personnummer, veckodagar, tärning eller krona- klave.

11 –Dubbelblinda försök. Då försöksenheterna är människor vet i regel varken försökspersonen eller den som ger behandlingen vilken behandling försökspersonen får.

12 Exempel Ett nytt preparat tros kunna bekämpa förkylningssjukdomar. 300 person vid Volvo Umeverken valdes. Med hjälp av slumpen fördelades dessa på två grupper; en behandlings- och en kontrollgrupp. Personerna i behandlingsgruppen sprayades i näsan 6 ggr i veckan med preparatet. Kontrollgruppen sprayades i näsan med vanligt vatten. Varken läkaren eller försökspersonerna visste om den enskilda behandlingen utfördes med det verksamma ämnet eller med vatten. Först i efterhand bröts koderna som avslöjade vilka personer som tillhörde respektive grupp.

13 Diskutera Varför genomfördes studien som ett dubbelblindförsök?

14 Icke-experimentella undersökningar, observationsstudier. –Undersökningsenheter eller händelseförlopp påverkas ej på något sätt. –Behandlingarna i den experimentella studien ersätts av passivt observerande.

15 Socialstyrelsen Kvasiexperimentella studier: Kvasiexperimentella studier är en typ av experimentell studie där man inte fördelar personer till experiment- och kontrollgrupp genom randomisering, dvs slumpmässigt (se randomiserade kontrollerade studier). I kvasiexperimentella studier använder man begreppet jämförelsegrupp istället för kontrollgrupp. Forskaren försöker istället kontrollera för de jämförda klientgruppernas ev olikheter genom t ex statistiska bearbetningar eller matchning.

16 Exempel Vid Överåkerns anstalt ville man utvärdera effekterna av det behandlingsprogram som erbjöds för kriminella narkotikamissbrukare. Behandlingen var frivillig drogfrihet under behandlingstiden samt olika sociala stödåtgärder. Den responsvariabel som studerades var återfallsfrekvensen i brott respektive missbruk. Som jämförelsegrupp valde man interner på andra anstalter med bl a samma typ av missbruk, samma ålder och samma brottsbelastning.

17 Diskussion Vilka skillnader kan det finnas mellan behandlings- och kontrollgrupp som kan påverka återfallsfrekvens?

18 Studier av orsakssamband Experimentella studier är i regel att föredra om man vill undersöka effekten av någon förklaringsvariabel på någon responsvariabel, eftersom det med en icke-experimentell ansats kan vara svårt att särskilja effekten av förklaringsvariabeln från effekter av andra faktorer

19 Vikten av randomisering Randomisering innebär att slumpen avgör vilken behandling en undersökningsenhet tilldelas Genom randomisering undviks systematiska fel Randomisering medför att effekten av en eventuell behandling med hög grad av säkerhet och precision kan fastställas med hjälp av statistikteori

20 Generaliserbarhetsproblemet Ett problem vid experimentella studier är att undersökningsenheterna inte alltid är slumpmässigt utvalda ur någon väldefinierad population och att därför de resultat som erhålls, i strikt mening, endast gäller för de som ingår i försöket. T ex så använder man ofta frivilliga försökspersoner. I sådana fall måste generaliseringar utöver undersökningsenheterna bygga på icke- statistiska argument.

21 Brist på realism Försöken utförs ibland i en miljö som ej är verklig. Detta innebär också ett generaliseringsproblem. Det är inte säkert att en individ reagerar likadant i ett laboratorium som i ”verkligheten”.

22 Meta-analyser Socialstyrelsen: Metaanalys är en statistisk metod som använder resultaten från ett antal sinsemellan oberoende studier för att belysa till exempel effekten av en viss insats. Genom att kombinera resultaten från många studier reducerar man slumpens inflytande på resultaten. Därmed minskar man också risken för felaktiga slutsatser om insatsens effekter

23 Evidensbaserat socialt arbete Socialstyrelsen stödjer utvecklingen inom socialtjänsten med målet att socialtjänstens arbete ska vara evidensbaserat. Vi utarbetar underlag, analyserar och informerar om sociala förhållanden. Vi bygger även upp och förstärker strukturer för systematisk kunskapsutveckling och effektiv informationsspridning. http://www.socialstyrelsen.se

24 Åtgärderna inriktas såväl på praktiken inom socialt arbete som på forskning och utbildning. Just nu pågår bl a ett arbete med att utveckla nationella riktlinjer för missbrukarvården: Arbetets uppläggning Arbetet att ta fram nationella riktlinjer för missbruks- och beroendevård kan beskrivas i fyra delar:

25 Har bl.a. bestått av att utse deltagare i referensgrupp och expertgrupper, instruktioner för dessa och utformningen av riktlinjearbetet i sin helhet. 1. Organisation av arbetsprocessen

26 2. Utarbetande av kunskapsunderlag Expertgrupperna har granskat det kunskapsunderlag som finns i form av kunskapsöversikter eller andra sammanställningar inom området. Där det inte har funnits tillräckligt med kunskapsunderlag har expertgrupperna fått bedöma om det finns underlag för en komplettering.

27 3. Framtagande av riktlinjer Med stöd av nämnda underlag har Socialstyrelsen utarbetat riktlinjer som gäller metoder för behandling och annan intervention.

28 4. Implementering De viktigaste implementeringsinsatserna kommer att äga rum efter det att riktlinjerna har utarbetats. Under hösten 2007 genomförs regionala konferenser på sex orter i landet. Då kommer också ett utbildningspaket att presenteras. För att kunna införa de föreslagna metoderna krävs vissa strukturella förutsättningar, t.ex. organisation och kompetens. Dessutom måste riktlinjerna förankras inom organisationerna.

29 Systematiska kunskapsöversikter Systematiska kunskapsöversikter är ett sätt att ställa och väga samman resultaten från ett stort antal vetenskapliga studier, för att med större säkerhet kunna ge svar på olika frågeställningar. Systematiska översikter är resultatet av genomgångar av ett stort antal vetenskapliga studier. http://www.socialstyrelsen.se/IMS/Definitioner

30 Evidensbegreppet Inom medicinsk praktik har begreppen evidens och evidensbaserad medicin fått en alltmer framträdande roll. En diskussion har också förts inom socialtjänsten om möjligheterna att utveckla en evidensbaserad praktik. Inom hälso- och sjukvård handlar det om en sammanvägning av tre kunskapskällor: läkarens egen kliniska erfarenhet, tillgängliga forskningsresultat och patientens åsikter. Även inom socialtjänsten måste tre kunskapkällor sammanvägas: bästa tillgängliga vetenskapliga information, egen och professionens expertkunskap och brukarensvärderingar och önskemål.

31 Kunskapsöversikter och evidensgradering För att riktlinjerna ska kunna vinna acceptans fordras att de framhållna metoderna grundas på evidensbaserad kunskap. Expertgruppernas huvuduppgift har därför varit att ta fram underlag i form av kunskapsöversikter och andra sammanställningar, samt att evidensgradera dessa. Riktlinjerna presenteras med en bedömning över hur angeläget det är att interventionen genomförs.

32 Som grund för denna bedömning ligger bl.a. evidensgrad och kostnadseffektivitet a. a Gäller alla riktlinjer utom dem under bedömningsinstrument och dokumentation som istället använder begreppet kvalitet, för att mäta vilken förmåga instrumentet har att mäta rätt variabel (validitet) och mäta rätt (reliabilitet). forts…

33 Evidensgrader Evidensgrad 1 Minst två oberoende studier med högt bevisvärde eller en systematisk översikt av högt bevisvärde. Evidensgrad 2 En studie med högt bevisvärde plus minst två med medelhögt bevisvärde och entydiga resultat. Evidensgrad 3 Minst två studier med medelhögt bevisvärde och entydigt resultat. Evidensgrad 4 Enbart studier med lågt bevisvärde eller avsaknad av studier. Expertutlåtanden eller konsensusutlåtanden utan explicit systematisk genomgång.

34 Högt Bevisvärde Tillräckligt stor studie, lämplig studietyp, väl genomförd och analyserad. Kan vara en stor randomiserad kontrollerad studie (RCT) när det gäller utvärdering av behandlingsform. För övriga områden: Uppfyller väl på förhand uppställda kriterier. www.lakemedelsverket.se

35 Medelhögt bevisvärde Behandlingseffekter: Kan vara stora studier med kontroller från andra geografiska områden, matchade grupper eller liknande. För övriga områden: Uppfyller delvis på förhand uppställda kriterier.

36 Lågt bevisvärde Ska inte ligga som enda grund för slutsatser, t ex studier med selekterade kontroller (retrospektiv jämförelse mellan patientgrupper som fått respektive inte fått en viss behandling), stort bortfall eller andra osäkerheter. För övriga områden: Uppfyller dåligt på förhand uppställda kriterier

37 Randomiserade kontrollerade studier (färg på läkarklädsel) Kvasiexpermentella studier (Överåkerns anstalt) Metaanalys