Föreläsningar i SMGAO4 2010-04- 14-16 Jan-Olof Åberg Utvärdering II Föreläsningar i SMGAO4 2010-04- 14-16 Jan-Olof Åberg

Före-efter-utvärdering Välfärds- indikator Utfall: Effekt + verkan av andra orsaker Baslinje Intervention Tid T0 T1 T2 T3

Det klassiska experimentet Intervention diff (F) Försöksgrupp Population Randomisering eller matchning diff (K) Kontrollgrupp Tid T1 T2 Effekten av interventionen: diff(F) - diff(K)

Tillämpad forskning har låg status Varför påverkas inte praktiken av forskningen? Exempel på hinder i själva forskningen Tillämpad forskning har låg status Forskarna avstår från ställningstaganden ”Opraktiska” problemdefinitioner och förenklade problem Långsam forskning Motsägelsefulla resultat

Beslut är kompromisser Besluten hinner inte vänta Tröga system Varför påverkas inte praktiken av forskningen? Exempel på hinder hos praktikerna själva Beslut är kompromisser Besluten hinner inte vänta Tröga system Tilltro till egen kunskap Tillämpning går utöver praktiska/politiska möjligheter

Praktiker är dåliga beställare Dålig intern spridning i verksamheten Varför påverkas inte praktiken av forskningen? Exempel på hinder i förmedlingen Praktiker är dåliga beställare Dålig intern spridning i verksamheten Forskare och praktiker talar olika språk Databaserna är svårtillgängliga Rapporteringen inte anpassad för praktiker Spridning via konsulter ger ytlighet

Forskning - omfattande, utspridd, skiftande EBP i princip Jan-Olof Åberg 20081111 Forskning - omfattande, utspridd, skiftande Resultat Metaanalys (metasyntes?) ”barriären” mellan forskare och praktiker granskning urval sammanfattning Lagen Andra organisationer Beslut Praktikern sakkompetens och erfarenhet utvärderingskompetens nätverk osv Klienten systematisk beskrivning säkrat inflytande medvetenhet om inter- kulturella villkor mm situation historia önskemål perspektiv Organisationen Utvärderingar resurser ledning handlingsutrymme ”lokal evidens”

Sök evidens och leta efter RCT http://www.campbellcollaboration.org/campbell_library http://www.sfi.dk Exempel på frågor att öva på: Fungerar KBT för hustrumisshandlare? Kan man minska återfall i brott med hjälp av KBT? Hjälper fysisk träning mot dålig självkänsla? Ger bättre gatubelysning mindre brottslighet? … men ställ gärna egna frågor

för och emot EBP + underlag för beslut är ofta otillförlitliga + man hinner inte utreda grundligt + vi vet för lite om effekterna + vi behöver varnas för riskerna + skyldighet att erbjuda alla bästa tänkbara insatser - både kunskap och praktik är situationsbetingade, så det är alltid svårt att generalisera till det enskilda fallet - evidens definieras tekniskt/värdeneutralt medan beslut fattas i specifika värdemiljöer - i praktiken rör det sig om en kombination av åtgärder, inte bara de avgränsade insatser som granskats var för sig - rutinisering av beslutssituationer hämmar utveckling - det vetenskapliga perspektivet är för snävt (RCT, manualer)

Processutvärdering Inriktning på förändring Processerna är komplexa Beskrivningen: Öppenhet Många aspekter Ofta kvalitativa metoder Självkritisk utvärderare Tolkningen/analysen: att välja kontexter teoretiska utgångspunkter

Utvärderingsplan Ta först ställning till de fyra grundfrågorna och niopunktsprogrammet! Glöm inte etiska aspekter! 1. Syfte(n) utifrån bakgrunden 2. Övergripande beskrivning av arbetssättet (modell(er) eller typ av utvärdering) utifrån syftet 3. Konkreta aktiviteter i utvärderingen för att hantera de fyra grundfrågorna 4. Tidsplan 5. Roller, ansvarsförhållanden (Utvärderingens organisation) 6. Rapportering: hur och till vilka utifrån syfte och avsedd funktion