- Exempel från Folkhälsoenhetens utvärderingar

En presentation över ämnet: "- Exempel från Folkhälsoenhetens utvärderingar"— Presentationens avskrift:

1 - Exempel från Folkhälsoenhetens utvärderingar
Utvärderingens delar - Exempel från Folkhälsoenhetens utvärderingar

2 Disposition Utvärderingsobjekt Syfte och användning
Design och datainsamling Bedömning och värdering Analys och slutsatser

3 Utvärderingsobjektet

4 Programlogik och struktur Förförståelse och antaganden Programteori
Två utvärderingar: Slututvärdering av Folkhälsokommitténs satsning på projekt för utsatta grupper i Västra Götaland Nationell utvärdering av FaR

5 Konkretisera utvärderingsobjektet
Vad är det som ska utvärderas? Exempel: - utvärdering av satsningen på projekt riktade till utsatta grupper. 1: satsningen som helhet 2: de enskilda projekten 3: satsningen som helhet samt de enskilda projekten

6 Hur ser logiken i utvärderingsobjektet ut?
Tänkbara effekter och mål? Hur uppnås dessa? Verktyg: programteori Eventuella avgränsningar Utvärderingsobjektet avgörande för hur syftet formuleras – Bestämmer således hela utvärderingens upplägg

7 Resurser Aktiviteter Prestationer Effekter (kort sikt) Effekter (medel) Effekter (lång sikt)

8 Legitimerad personal inom hälso- och sjukvård Aktiviteter
Ex. från FaR-utvärdering: Min rekonstruktion: Resurser Legitimerad personal inom hälso- och sjukvård Aktiviteter Öka utbildning av legitimerad personal Stimulera uppföljning av patienters följsamhet (ekonomiska incitament) Prestationer Antal utskrivna recept på personligt anpassad fysisk aktivitet Effekter kort sikt Fler kompetenta förskrivare Ökad följsamhet till FaR-förskrivningar Effekter medel sikt Ökad fysisk aktivitet hos målgrupp Minskad risk för typ 2-diabetes samt hjärt- och kärlsjukdomar Effekter lång sikt Förbättrad folkhälsa Förbättrad livskvalité

9 Syfte och användning

10 Syfte Utveckla verksamheten Kontrollera verksamheten
Ge nya kunskaper om verksamheten Legitimera verksamheten Manipulera verksamheten

11 Användning Instrumentell användning Konceptuell användning
- Rekommendationer från utvärderingen omsätts i verkligheten. Konceptuell användning - Utvärderingen påverkar inställning/ attityd. Inga konkreta förändringar. Legitimerande användning - Utvärderingen används för att legitimera legitimera ett projekt eller aktivitet för en redan intagen ställning. Strategisk användning - Utvärderingen används för att vinna tid eller undvika ansvarsutkrävande. En utvärdering är tillsatt vilket tyder på att något görs. Processanvändning - Utvärderingsprocessen leder till förändring.

12 Design och datainsamling
Konsten att välja rätt verktyg

13 Vad är metod? Kvalitativ Fördjupning, ej det generella
Intervjuer, fokusgrupper, mindre urval Kvantitativ Generella resultat, frekvens Enkäter, stort urval

14 Urval Vad frågar man efter? Hur många tycker…? Representativitet
Hur många elever har uppmärksammat kampanjen om klamydiatester? Vad tycker elever om kampanjen?

15 Varför är metod viktigt?
Ge värde till resultaten Tillförlitliga resultat Tillförlitligt underlag för beslut Ge styrka till föreslagna förbättringar Stöd till utvärderaren Underlag för diskussion & förståelse av utvärderingen

16 Bedömning och värdering

17 Vad är värdering och varför är det viktigt?
Exempel Konkretisera visionära mål Verksamheter är i sig själva aldrig värderingsfria

18 Fundera mera! Målgruppskonstruktion Diskussion
Konstruktion av värderingar

19 Avslutning Positivt med våra utvärderingar

20 Analys och slutsatser

21 Vad ska analysen och slutsatserna innehålla?
"Knyta ihop påsen", ge svar på frågeställningarna i utvärderingen Återkoppla till generella mål med utvärdering Var programmet en framgång enligt kriterierna som det utvärderas mot? Vilka förändringar har observerats som ett resultat av programmet? Vad kunde gjorts bättre? Vad kan man tänka på i framtiden?

22 Trovärdighet och generaliserbarhet
Slutsatser måste vara baserade på analysen och empirin och vara rimliga i förhållande till denna Transparens: Hur har man kommit fram till slutsatserna? Objektivitet Inte alltid möjligt/eftersträvansvärt att kunna generalisera Representativt urval Exempel: Familjeverkstan: Litet urval, blandning mellan kvantitativa och kvalitativa metoder, modifierat genom- förande Kan man baserat på denna utvärdering generalisera och säga att “Familjeverkstan” som modell är lyckad?

23 Vanliga programbrister som påverkar möjligheterna till goda slutsatser
Genomförandefel: Fel i genomförandet av programmet Teorifel: En policy har inte möjligheter att påverka problemet Har en policy/idé förutsättningar att lösa det bakomliggande problemet?

24 Att tänka på: Goda slutsatser från en utvärdering ger råd om faktorer som går att påverka för användarna Ska helst ge svar på evidensfrågan Slutsatserna ska presenteras på ett sätt som maximerar användningen av utvärderingen Slutligen handlar värdet i utvärdering om dess nytta, i form av lärande och användbarhet

25 Tack för att ni har lyssnat!
Julia Andrén My Ekrelius Alexander Westerberg Johanna Almgren Daniel Hallberg Mattias Fyhr Karin Rhodin Marta Rivelis Linnea Löfström Engdahl Maria Bergman Linn Sandberg