Frågor som påverkar utvärderingens design Uppdraget - VAD, VARFÖR, VEM, VILKA INTRESSEN? Bedömningen - IDEAL, VEM, VILKA INTRESSEN? Kunskapen - VAD, VILKA DATA, NÄR, VEM? Funktionen - RAPPORTERING, NYTTA?

Bedömningsfrågan / Värderingsgrunder Mål Intressen Teori Kulturella / Allmänna värden

Intressentutvärdering (med konstruktionistisk ansats) Arbetsgång: - Identifiera intressenter: Vilka berörs, gynnas, missgynnas, vilka ”äger och producerar” - Intressenterna tillfrågas om tillståndet och värdet av det som ska utvärderas - Utvärderarna tar fram information (analyserar) utifrån kunskapsbehovet. Återför till intressenterna - Dialog mellan intressenterna utifrån kunskapsunderlaget.

Hur intressentmodellen hanterar de fyra grundfrågorna Kontrollerande syfte: tillgodose behov Bedömning utifrån intressen och behov Kunskap om erfarenheter och upplevelser Underlag för ”politiskt gångbara” beslut

Teoridriven utvärdering Arbetsgång: - Kartlägg hur ”teorin” för insatsen fungerar. (Intervjuer/styrdokument) - Resulterar i ett antal ”påståenden” som kan testas empiriskt. (Kvantitativt eller kvalitativt) - Påståendena bekräftas, förkastas eller modifieras - Resultaten återförs till de berörda

Hur teoridriven utvärdering hanterar de fyra grundfrågorna Lärandesyfte för beslutsfattare och utförare Lärandesyfte för beslutsfattare och utförare Bedömning utifrån ”interventionsteorin” eller generell teori Bedömning utifrån ”interventionsteorin” eller generell teori Kunskap om processer, kausalitet eller utfall, beroende på teorin Kunskap om processer, kausalitet eller utfall, beroende på teorin Bör ge evidens och beprövad erfarenhet Bör ge evidens och beprövad erfarenhet

Självvärdering och extern granskning. Arbetsgång - Berörda redogör för sin verksamhet (styrkor o svagheter) – Internt driven utvärdering (egna kriterier) - Extern bedömning (ev enligt andra kriterier) - Dialog mellan bedömare och berörda - Bedömarna avger rapport

Hur självvärdering och extern granskning hanterar de fyra grundfrågorna Både främjande och kontrollerande syfte Både främjande och kontrollerande syfte Bedömning utifrån interna och professionella kriterier Bedömning utifrån interna och professionella kriterier Kunskap om förutsättningar, processer och resultat, beroende på kriterierna Kunskap om förutsättningar, processer och resultat, beroende på kriterierna Bör ge förankring, utveckling, legitimitet Bör ge förankring, utveckling, legitimitet

Två huvudgrupper… Processutvärdering Systematiskt följa och dokumentera en verksamhets genomförande Strukturbaserad utvärdering Tidsstruktur – Före, under, efter… Resursstruktur - Programteori

Resultat, utfall och effekt RESULTAT Resurser  Aktiviteter/processer  Prestationer  Utfall 1  Utfall 2 IMPLEMENTERINGEFFEKTER Resultat: Prestationer och/eller utfall Utfall: Situationen hos ett objekt efter en åtgärd Effekt: Om utfallet beror på den vidtagna åtgärden (kausalitet)

Validitet och Reliabilitet

Före-efter-utvärdering T0T0 T1T1 T2T2 T3T3 Välfärds- indikator Tid Intervention Baslinje Utfall: Effekt + verkan av andra orsaker

Vad är effekt? Kausalitet Placebo Hawthorne-effekt Biverkningar Externa påverkansfaktorer Åtgär d effekt Z X Y Åtgärd

Förutsättningar för slutsatser om kausalitet Statistiskt påvisat samband mellan förmodad orsak och effekt Orsaken föregår effekten Andra rimliga förklaringar kan uteslutas Konsistens Kontrafaktisk inferens – vad hade hänt om vi inte genomfört åtgärden?

Effekt? Antal individer i lönearbete Tid ProjektstartUppföljnings-tillfälle Verklig utveckling Utveckling utan insats Verklig program- effekt Uppmätt program- effekt

Det klassiska experimentet T1T1 T2T2 Tid Intervention Population Effekten av interventionen: diff(F) - diff(K) Randomisering eller matchning Kontrollgrupp Försöksgrupp diff (F) diff (K)

Kvasi-experimentell utvärderingsdesign Generisk kontroll – jämför med ”normalfallet” Statistisk kontroll – statistisk kontroll för olika bakgrundsvariabler Reflexiv kontroll – före-efter jämförelse med ”sig själv” Skuggkontroll – ”expertbedömning” av vad som skulle skett om åtgärden inte genomfördes

Scientific Methods Scale (5) Randomisering mellan program och kontroll (4) Före – eftermätning med kontrollgrupp och kontroll för andra förklaringar (3) Före – eftermätning med kontrollgrupp (2) Före – eftermätning utan kontrollgrupp (1) Samband prevention och riskbeteende vid ett tillfälle Sämst Bäst

Grupparbete Utvärdering av ett program för att hjälpa arbetslösa invandrare in på arbetsmarknaden Organisationen Röda Korset genomför ett projekt i syfte att hjälpa arbetslösa invandrare in på den svenska arbetsmarknaden. Projektidén går ut på att varje person förses i med en mentor – en vanlig svensk anställd i företag eller förvaltning i samma yrke som invandraren tidigare haft. Mentorns uppgift är att introducera till arbets- och samhällsliv och på så sätt hjälpa invandraren till kontakter. Ca 20 invandrare berörs. En projektledare anställs vars insats består i att - hitta mentorer och ge dem en introduktion till projektets syfte mm - hitta invandrare och sammanföra dem med mentorer - följa upp att man håller kontakt och gör något tillsammans i projektets anda - på olika sätt hjälpa till och stödja vid behov Resurserna för projektet är små och mentorerna har inte betalt. Projekttiden är sex månader. Hur kan man tänka sig att en utvärdering av projektet skulle kunna se ut? Vilka modeller kan användas? Vilka utvärderingskriterier? Bör flera modeller kombineras? Vem/vilka ska utvärdera? Ska brukarna delta? Vilka är intressenterna? När bör utvärderingen starta och hur länge ska den pågå? Diskutera hur en utvärdering av projektet skulle kunna genomföras. Utgångspunkt för diskussionen bör vara de fyra grundfrågorna för utvärdering som diskuterats under kursen. Uppdragsfrågan Bedömningsfrågan Kunskapsfrågan Funktionsfrågan