Lars Niklasson Linköpings universitet

En presentation över ämnet: "Lars Niklasson Linköpings universitet"— Presentationens avskrift:

1 Lars Niklasson Linköpings universitet
Utredningskunskap Lars Niklasson Linköpings universitet

2 Disposition Vad är utvärdering? Hur gör man?

3 Vad är utvärdering? Utredning Uppföljning Utvärdering Forskning
Ofta framtidsinriktat Uppföljning Hur blev det? Vad tillfördes? (additionalitet) Utvärdering Varför blev det så? (kausalitet) Forskning Som utvärdering, men friare ämnesval

4 Varför är kausalitet svårt?
Många orsaker till effekterna (Många effekter av en orsak) Hur dra slutsatser (=forskning): Deduktivt (utgå från teori) Induktivt: logiskt samband, samvariation Jämförelser snarare än experiment Statistiskt samband Kärnan: om A så B, om inte A så inte B Konstanthåll andra faktorer (kontrafaktiskt)

5 Additionalitet är farligt
Det blir nästan alltid nåt nytt Input Output Beteende Riskerar överskatta positiva effekter Undersök även negativa effekter och dödviktseffekter, crowding out etc.

6 Varför utvärdera? Utvärdering är ett sätt att utveckla politiska åtgärder Och att utveckla egen verksamhet En del av mål- och resultatstyrning Men blandas ofta ihop med uppföljning, att samla data och dra slutsatser utan att förstå orsakssamband. Blir ritual. Lindgren: ”Monstret” är uppföljning

7 Syftet är att skapa nytta
Ta fram ny kunskap Bidra till att aktörerna förstår verksamheten bättre Därför behöver utvärderaren vara ”ödmjuk och trovärdig” Hjälp till självhjälp

8 Olika fokus Kostnadsjämförelser, benchmarking Kvalitetsgranskning
Evidens (metaanalys) Implementeringen, programteorin Processerna: hur gick det till? Ramfaktorer: förutsättningarna Målgruppen: när antas ”erbjudandet”? Intressenterna: större bild

9 Planeringstrappan Varför? Syfte, planerad användning Vad? (när?)
Precisera och tolka uppdraget Vilka? Hur? Resultat? Stäm av och förankra

10 Vem ska göra det? Tre oförenliga (?) önskemål
Legitimitet, dialog, information Två roller med olika profil Kontrollant eller terapeut Tre utförare Externa utvärderare Självvärdering Expertpanel (peer review)

11 Datainsamling Rekonstruera programteorin Samla data om
Målgruppen, utförarna och styrningen Resultat, processer och förutsättningar Jämförelser över tid och/eller rum Med/utan åtgärd, före/efter Insamlingsmetoder Enkäter, intervjuer, gruppintervjuer

12 Dåliga utvärderingar ”One shot post-design”
För smala undersökningar, undersöker bara objektet. Självskattningar

13 Utvärderingsprocessen
Sätt in frågorna i ett sammanhang Utveckla och omformulera (förankra) Fråga de berörda för att förstå mer Vilka faktorer behöver undersökas? Hur ska vi fråga? Kan vi förstå svaren? Hypoteser – leta motbevis Är det nåt annat som är problemet? Dialog om preliminära resultat

14 Kvalitetskriterier Vetenskapliga normer Validitet Reliabilitet
Användbarhet Etiskt genomfört