En guide för effektutvärdering Stormöte tidiga insatser, sociala investeringar, 2 juni 2014 Tomas Bokström www.skl.se/psynk

Några frågor kring uppföljning och utvärdering Hur vet vi att det vi gör har effekt? Hur uppnår vi ny kunskap? Hur jämför vi alternativa insatser? Vilken kompetens behövs för att göra goda utvärderingar? Hur utformar vi administrativa system så att uppföljning och utvärdering inte innebär för/onödigt stora merkostnader?

Styrning med uppföljning och utvärdering Görs det som ska göras, nås de som ska nås av insatsen? Processmått för att mäta programtrohet Uppföljning Får vi de utfall som det var tänkt, vad är storleken på effekten? Mätning av utfall, väntade och oväntade (bieffekter) Effektutvärdering Vad innebär de förändrade utfallen ekonomiskt, kort- och långsiktigt? Kort sikt: Ev. förändring av konsumtion av välfärdstjänster, relaterat till insatsens kostnad Lång sikt: Förändrade utfalls påverkan på sannolikheten för framtida välfärdskonsumtion samt produktionsvinster  Cost/benefit-analys

Utvärderingsguide Definiera krav för att utvärdera sociala investeringar Beskriva ett arbetssätt

Målgrupp för guiden Den som ska planera och/eller genomföra utvärdering Ska beställa en extern utvärdering Ska utforma en kravprofil för en tjänst eller ett uppdrag med ansvar för uppföljning och utvärdering (av sociala investeringar) Överväger att inleda ett arbete med sociala investeringar

Utvärderingens fyra faser

Vilken typ av effektutvärdering? Före-efter-mätning Matchad kontroll Randomiserad kontrollerad studie (RCT) TVEKSAM!

RANDOMIZE EVERYTHING Controlled trials are shedding light on human behavior—and how to nudge it in a positive direction. http://www.wired.com/wiredscience/2013/11/jpal-randomized-trials/ http://www.povertyactionlab.org

Vilka effekter? Skolresultat (tester, prov, betyg) Psykisk hälsa (instrument t.ex. SDQ, www.sdqwebb.se) Försörjning, arbetsmarknadsutfall

Juridisk bedömning Samtycken Hantering av data Ev. forskningsetisk prövning - EPN

Genomförande Säkra implementering Kontinuerlig uppföljning av processmått - projektstyrning Systematisk insamling/registrering av insatser Konsumtion av välfärdstjänster (insatser i skola, socialtjänst, BUP)

Analys av data och kostnader Jämförelse interventions- och kontrollgrupp Medelvärden Variation Effektstyrka Cost effectiveness Cost benefit

Samband över tid och mellan verksamheter Modell från utvärderingsrapport av Skolfam2 i Norrköping, Bernfort och Lundqvist, LiU, 2014

Samband mellan kort- och långsiktiga effekter (exempel) Ökad livsinkomst genom ökning i test score (medelvärde) 1 0,118 Ökad livsinkomst genom ett extra studieår (medelvärde) 2 0,099 Gymnasieexamen leder till lägre kriminallitet3 -0,143 1Hall, M., & Farkas, G. (2011). Adolescent cognitive skills, attitudinal/behavioral traits and career wages. Social) Forces, 89(4), 1261<1285. The National Longitudinal Survey of Youth (NLSY79) 2Harmon, C., & Walker, I. (1995). Estimates of the economic return to schooling for the United Kingdom. The American Economic Review, 85 (5), 1278<1286. 3Lochner & Moretti, 2004 Levitt & Lochner, 2001 Sabates, 2008 Buonanno & Leonida, 2009 Ou & Reynolds, 2010 Machin et al., 2011 Brugard & Falch, 2011 Webbink et al., 2008 Bjerk, 2011 Van Dorn, et al., 2011

Kunskapsspridning Standard för rapportering av resultat Om lyckat projekt - etablera process för att skala upp/införa i ordinarie verksamhet

Vad är målet? Utvecklad förmåga att utifrån behov och prioriteringar testa nya arbetssätt och att skala upp dessa om de är framgångsrika Utvecklad kunskapsöverföring mellan verksamheter, kommuner, landsting och länder Bibliotek över effektiva interventioner, med kostnader och ekonomiska effekter redovisade www.investinginchildren.eu