Lars Niklasson Linköpings universitet Utredningskunskap Lars Niklasson Linköpings universitet

Disposition Vad är utvärdering? Hur gör man?

Vad är utvärdering? Utredning Uppföljning Utvärdering Forskning Ofta framtidsinriktat Uppföljning Hur blev det? Vad tillfördes? (additionalitet) Utvärdering Varför blev det så? (kausalitet) Forskning Som utvärdering, men friare ämnesval

Varför är kausalitet svårt? Många orsaker till effekterna (Många effekter av en orsak) Hur dra slutsatser (=forskning): Deduktivt (utgå från teori) Induktivt: logiskt samband, samvariation Jämförelser snarare än experiment Statistiskt samband Kärnan: om A så B, om inte A så inte B Konstanthåll andra faktorer (kontrafaktiskt)

Additionalitet är farligt Det blir nästan alltid nåt nytt Input Output Beteende Riskerar överskatta positiva effekter Undersök även negativa effekter och dödviktseffekter, crowding out etc.

Varför utvärdera? Utvärdering är ett sätt att utveckla politiska åtgärder Och att utveckla egen verksamhet En del av mål- och resultatstyrning Men blandas ofta ihop med uppföljning, att samla data och dra slutsatser utan att förstå orsakssamband. Blir ritual. Lindgren: ”Monstret” är uppföljning

Syftet är att skapa nytta Ta fram ny kunskap Bidra till att aktörerna förstår verksamheten bättre Därför behöver utvärderaren vara ”ödmjuk och trovärdig” Hjälp till självhjälp

Olika fokus Kostnadsjämförelser, benchmarking Kvalitetsgranskning Evidens (metaanalys) Implementeringen, programteorin Processerna: hur gick det till? Ramfaktorer: förutsättningarna Målgruppen: när antas ”erbjudandet”? Intressenterna: större bild

Planeringstrappan Varför? Syfte, planerad användning Vad? (när?) Precisera och tolka uppdraget Vilka? Hur? Resultat? Stäm av och förankra

Vem ska göra det? Tre oförenliga (?) önskemål Legitimitet, dialog, information Två roller med olika profil Kontrollant eller terapeut Tre utförare Externa utvärderare Självvärdering Expertpanel (peer review)

Datainsamling Rekonstruera programteorin Samla data om Målgruppen, utförarna och styrningen Resultat, processer och förutsättningar Jämförelser över tid och/eller rum Med/utan åtgärd, före/efter Insamlingsmetoder Enkäter, intervjuer, gruppintervjuer

Dåliga utvärderingar ”One shot post-design” För smala undersökningar, undersöker bara objektet. Självskattningar

Utvärderingsprocessen Sätt in frågorna i ett sammanhang Utveckla och omformulera (förankra) Fråga de berörda för att förstå mer Vilka faktorer behöver undersökas? Hur ska vi fråga? Kan vi förstå svaren? Hypoteser – leta motbevis Är det nåt annat som är problemet? Dialog om preliminära resultat

Kvalitetskriterier Vetenskapliga normer Validitet Reliabilitet Användbarhet Etiskt genomfört