En guide för effektutvärdering

En presentation över ämnet: "En guide för effektutvärdering"— Presentationens avskrift:

1 En guide för effektutvärdering
Stormöte tidiga insatser, sociala investeringar, 2 juni 2014 Tomas Bokström

2 Några frågor kring uppföljning och utvärdering
Hur vet vi att det vi gör har effekt? Hur uppnår vi ny kunskap? Hur jämför vi alternativa insatser? Vilken kompetens behövs för att göra goda utvärderingar? Hur utformar vi administrativa system så att uppföljning och utvärdering inte innebär för/onödigt stora merkostnader?

3 Styrning med uppföljning och utvärdering
Görs det som ska göras, nås de som ska nås av insatsen? Processmått för att mäta programtrohet Uppföljning Får vi de utfall som det var tänkt, vad är storleken på effekten? Mätning av utfall, väntade och oväntade (bieffekter) Effektutvärdering Vad innebär de förändrade utfallen ekonomiskt, kort- och långsiktigt? Kort sikt: Ev. förändring av konsumtion av välfärdstjänster, relaterat till insatsens kostnad Lång sikt: Förändrade utfalls påverkan på sannolikheten för framtida välfärdskonsumtion samt produktionsvinster  Cost/benefit-analys

4 Utvärderingsguide Definiera krav för att utvärdera sociala investeringar Beskriva ett arbetssätt

5 Målgrupp för guiden Den som ska planera och/eller genomföra utvärdering Ska beställa en extern utvärdering Ska utforma en kravprofil för en tjänst eller ett uppdrag med ansvar för uppföljning och utvärdering (av sociala investeringar) Överväger att inleda ett arbete med sociala investeringar

6 Utvärderingens fyra faser

7 Vilken typ av effektutvärdering?
Före-efter-mätning Matchad kontroll Randomiserad kontrollerad studie (RCT) TVEKSAM!

8 RANDOMIZE EVERYTHING Controlled trials are shedding light on human behavior—and how to nudge it in a positive direction.

9 Vilka effekter? Skolresultat (tester, prov, betyg)
Psykisk hälsa (instrument t.ex. SDQ, Försörjning, arbetsmarknadsutfall

10 Juridisk bedömning Samtycken Hantering av data
Ev. forskningsetisk prövning - EPN

11 Genomförande Säkra implementering
Kontinuerlig uppföljning av processmått - projektstyrning Systematisk insamling/registrering av insatser Konsumtion av välfärdstjänster (insatser i skola, socialtjänst, BUP)

12 Analys av data och kostnader
Jämförelse interventions- och kontrollgrupp Medelvärden Variation Effektstyrka Cost effectiveness Cost benefit

13 Samband över tid och mellan verksamheter
Modell från utvärderingsrapport av Skolfam2 i Norrköping, Bernfort och Lundqvist, LiU, 2014

14 Samband mellan kort- och långsiktiga effekter (exempel)
Ökad livsinkomst genom ökning i test score (medelvärde) 1 0,118 Ökad livsinkomst genom ett extra studieår (medelvärde) 2 0,099 Gymnasieexamen leder till lägre kriminallitet3 -0,143 1Hall, M., & Farkas, G. (2011). Adolescent cognitive skills, attitudinal/behavioral traits and career wages. Social) Forces, 89(4), 1261<1285. The National Longitudinal Survey of Youth (NLSY79) 2Harmon, C., & Walker, I. (1995). Estimates of the economic return to schooling for the United Kingdom. The American Economic Review, 85 (5), 1278<1286. 3Lochner & Moretti, 2004 Levitt & Lochner, 2001 Sabates, 2008 Buonanno & Leonida, 2009 Ou & Reynolds, 2010 Machin et al., 2011 Brugard & Falch, 2011 Webbink et al., 2008 Bjerk, 2011 Van Dorn, et al., 2011

15 Kunskapsspridning Standard för rapportering av resultat
Om lyckat projekt - etablera process för att skala upp/införa i ordinarie verksamhet

16 Vad är målet? Utvecklad förmåga att utifrån behov och prioriteringar testa nya arbetssätt och att skala upp dessa om de är framgångsrika Utvecklad kunskapsöverföring mellan verksamheter, kommuner, landsting och länder Bibliotek över effektiva interventioner, med kostnader och ekonomiska effekter redovisade