- Exempel från Folkhälsoenhetens utvärderingar Utvärderingens delar - Exempel från Folkhälsoenhetens utvärderingar

Disposition Utvärderingsobjekt Syfte och användning Design och datainsamling Bedömning och värdering Analys och slutsatser

Utvärderingsobjektet

Programlogik och struktur Förförståelse och antaganden Programteori Två utvärderingar: Slututvärdering av Folkhälsokommitténs satsning på projekt för utsatta grupper i Västra Götaland 1999-2001 Nationell utvärdering av FaR

Konkretisera utvärderingsobjektet Vad är det som ska utvärderas? Exempel: - utvärdering av satsningen på projekt riktade till utsatta grupper. 1: satsningen som helhet 2: de enskilda projekten 3: satsningen som helhet samt de enskilda projekten

Hur ser logiken i utvärderingsobjektet ut? Tänkbara effekter och mål? Hur uppnås dessa? Verktyg: programteori Eventuella avgränsningar Utvärderingsobjektet avgörande för hur syftet formuleras – Bestämmer således hela utvärderingens upplägg

Resurser Aktiviteter Prestationer Effekter (kort sikt) Effekter (medel) Effekter (lång sikt)

Legitimerad personal inom hälso- och sjukvård Aktiviteter Ex. från FaR-utvärdering: Min rekonstruktion: Resurser Legitimerad personal inom hälso- och sjukvård Aktiviteter Öka utbildning av legitimerad personal Stimulera uppföljning av patienters följsamhet (ekonomiska incitament) Prestationer Antal utskrivna recept på personligt anpassad fysisk aktivitet Effekter kort sikt Fler kompetenta förskrivare Ökad följsamhet till FaR-förskrivningar Effekter medel sikt Ökad fysisk aktivitet hos målgrupp Minskad risk för typ 2-diabetes samt hjärt- och kärlsjukdomar Effekter lång sikt Förbättrad folkhälsa Förbättrad livskvalité

Syfte och användning

Syfte Utveckla verksamheten Kontrollera verksamheten Ge nya kunskaper om verksamheten Legitimera verksamheten Manipulera verksamheten

Användning Instrumentell användning Konceptuell användning - Rekommendationer från utvärderingen omsätts i verkligheten. Konceptuell användning - Utvärderingen påverkar inställning/ attityd. Inga konkreta förändringar. Legitimerande användning - Utvärderingen används för att legitimera legitimera ett projekt eller aktivitet för en redan intagen ställning. Strategisk användning - Utvärderingen används för att vinna tid eller undvika ansvarsutkrävande. En utvärdering är tillsatt vilket tyder på att något görs. Processanvändning - Utvärderingsprocessen leder till förändring.

Design och datainsamling Konsten att välja rätt verktyg

Vad är metod? Kvalitativ Fördjupning, ej det generella Intervjuer, fokusgrupper, mindre urval Kvantitativ Generella resultat, frekvens Enkäter, stort urval

Urval Vad frågar man efter? Hur många tycker…? Representativitet Hur många elever har uppmärksammat kampanjen om klamydiatester? Vad tycker elever om kampanjen?

Varför är metod viktigt? Ge värde till resultaten Tillförlitliga resultat Tillförlitligt underlag för beslut Ge styrka till föreslagna förbättringar Stöd till utvärderaren Underlag för diskussion & förståelse av utvärderingen

Bedömning och värdering

Vad är värdering och varför är det viktigt? Exempel Konkretisera visionära mål Verksamheter är i sig själva aldrig värderingsfria

Fundera mera! Målgruppskonstruktion Diskussion Konstruktion av värderingar

Avslutning Positivt med våra utvärderingar

Analys och slutsatser

Vad ska analysen och slutsatserna innehålla? "Knyta ihop påsen", ge svar på frågeställningarna i utvärderingen Återkoppla till generella mål med utvärdering Var programmet en framgång enligt kriterierna som det utvärderas mot? Vilka förändringar har observerats som ett resultat av programmet? Vad kunde gjorts bättre? Vad kan man tänka på i framtiden?

Trovärdighet och generaliserbarhet Slutsatser måste vara baserade på analysen och empirin och vara rimliga i förhållande till denna Transparens: Hur har man kommit fram till slutsatserna? Objektivitet Inte alltid möjligt/eftersträvansvärt att kunna generalisera Representativt urval Exempel: Familjeverkstan: Litet urval, blandning mellan kvantitativa och kvalitativa metoder, modifierat genom- förande Kan man baserat på denna utvärdering generalisera och säga att “Familjeverkstan” som modell är lyckad?

Vanliga programbrister som påverkar möjligheterna till goda slutsatser Genomförandefel: Fel i genomförandet av programmet Teorifel: En policy har inte möjligheter att påverka problemet Har en policy/idé förutsättningar att lösa det bakomliggande problemet?

Att tänka på: Goda slutsatser från en utvärdering ger råd om faktorer som går att påverka för användarna Ska helst ge svar på evidensfrågan Slutsatserna ska presenteras på ett sätt som maximerar användningen av utvärderingen Slutligen handlar värdet i utvärdering om dess nytta, i form av lärande och användbarhet

Tack för att ni har lyssnat! Julia Andrén My Ekrelius Alexander Westerberg Johanna Almgren Daniel Hallberg Mattias Fyhr Karin Rhodin Marta Rivelis Linnea Löfström Engdahl Maria Bergman Linn Sandberg