Utvärdering Föreläsning i SQ 1338

Utvärdering - definitioner Utvärdering, evaluering, sammanfattande term för metoder som syftar till en systematisk bedömning av resultaten och de mer långsiktiga effekterna av genomförda insatser. (

Att utvärdera är att noggrant bedöma. Att bedöma innebär att fastställa värdet. Utvärdering innebär att skilja det värdefulla från det värdelösa. (Scriven )

Två sidor 1.att införskaffa, systematisera och redovisa kunskap om verksamheter och insatser, samt 2. att värdera denna kunskap mot en tydliggjord referensram. (Eriksson & Karlsson, 1990) …och en till 3.att kommunicera denna kunskap med intressenterna

Värderingskriterier Aktivitet –Måluppfyllelse (+bieffekter) Aktör –Brukare –Proffs –Intressenter Ekonomi –Produktivitet –Effektivitet

Historien Industrialismen Välfärdsstaten USA Såväl en följd av det moderna samhället … …som kritik av det moderna samhället.

Böljorna Rationalitet Deltagare Nyliberalt Evidens Brukare ?

Utvärdering används till att kontrollera främja lära kritisera

Utvärdering Vill förena ord och handling Är en samverkan mellan parter Handlar (ofta) om organisation Kan öka professionaliteten Kan öka legitimiteten i offentligt service Kan öka kvaliteten i offentlig service Ökar (ofta) den politiska makten Är alltid en etisk fråga

Etik ”gyllene regel” : ”Utvärdera i relation till andra och deras situation så som du själv skulle vilja bli utvärderad”

Brukarens rätt 1.Att f å r veta 2.Att delta i valet 3.Vad skall h ä nda konkret 4.Hur l ä nge 5.Alternativa metoder 6.Kostnad 7.Dokumentation 8.Avslut 9.Kontroll ö ver sitt liv 10.Information om resultaten

Fyra grundproblem -Uppdragsfrågan -Kunskapsfrågan -Bedömningsfrågan - Funktionsfrågan

uppdraget Syfte Uppdragsgivare Ekonomi Vem

Utvärdering AVI Utifr å nInifr å n Distans N ä rhet Efter å t Under tiden Tillf ä llig Kontinuerlig Inte f ö r omedelbart bruk F ö r omedelbart bruk S ä rskild utv ä rderare Ej s ä rskild utv ä rderare ” Synlig ”” Osynlig ”

kunskapen Utvärderingsmodell Metod/er Urval Datainsamling Analys Samhällsvetenskaplig metod Underordnad syftet med utvärderingen

bedömning - jämförelse Över tid före och efter en insats Mellan grupper Med teori, mål, ideal osv Vem gör bedömningen

funktion Användning Olika grupper position Spridning Hyllvärmare

Summativ eller formativ Effektmätning Slutlig värdering Kunskap för framtiden Bristande kunskap pga distans Möjlighet till påverkan av insatsen Kunskap i nutiden Problematiska kopplingar - närhet

Utvärderingsmonstret Ramlagar Resultatstyrning Förenklar det komplexa Perversa bieffekter

Tre inriktningar 1. Programutvärdering –en helhet av flera insatser –politiskt initiativ –bred ansats –programteori tankemodellen målsättningen

storstadssatsningen Nytt politikområde Programteori –Stöd till utsatta områden => minskar segregationen, ökar ek tillväxt –Olika stödområden: skola, arbete osv Oöverskådligt många insatser Stor satsning på utvärdering –främjande + ny kunskap

storstadssatsningen Utvärderingen: rapporter Vinna ny kunskap (+ underlag för politik) Alla tänkbara metoder men en övervikt för det kvalitativt analyserande Forskarbedömning (+ politiker) En del bra rapporter + mycket oanvändbart Mycket ny kunskap

storstadssatsningen Ett misslyckande jämfört med programteorin… … men många lyckade insatser Konsensus bland forskare? Slagträ i politiken Nödvändigt stöd för utsatta stadsdelar Tillbaka till det gamla Perversa bieffekter?

2. Verksamhetsutvärdering –måluppfyllelse –organisation –systemet

Papula Uppdraget från Urban II inte SDN Måluppfyllelse(bieffektmodell) Mål (Papula, SDN) teori Metod-er Användning

3. Individutvärdering –brukarperspektiv –metod –en del av arbetet

individuellt Arbetsplaner Manualer, BBIC, DUR?, ASI Process men också före-efter Brukarinflytande

57 modeller för utvärdering?? Nej! Tre. 1.Processutvärdering 2.Före-efter modell 3.Målrelaterad utvärdering

processutvärdering Struktur - process Förändringen central Upprepad datainsamling Öppen Social konstruktionsprocess Relationer, självbilder, samspel Utfall mindre viktigt Beskriva ett förlopp - formativ

före - efter modell Minst 2 insamlingar av data, gärna fler Blir det bättre - leder till förändring: kärnfrågan Summativ Grundläggande undersökningsmetod Manualbaserade metoder

Test 1 Intervention Test 2 systematisk jämförande - en grund för utvärdering Mäter skillnaden - men du måste veta vad skillnaden beror på Tidsspannet är avgörande för resultatet Fler kontroller före och efter ger ett säkrare resultat Metoden kan inte ändras under tiden Orsak - verkan är alltid avgörande

måluppfyllelsemodell Måluppfyllelseanalys –Tydliga nivårelaterade mål –Kända och accepterade –Realistiska och bedömningsbara Vanlig Politisk Tunnelseende - olämplig för socialt arbete? Bieffektsanalys Målfri utvärdering

Två metoder Randomiserade kontrollerade studier (RCT) Single-Case Design (SCD)

RCT Säkraste svaret Vetenskaplig legitimitet Långt från vardagen - mindre relevant

Single-Case Design Lätt att genomföra Osäkrare svar Hög relevans Lätta att tillämpa Svårt att standardisera

Evidensbaserad praktik Föreläsning SQ 1338

Jämförelse RCT - SCD (Oskarsson 09. s 32) fördelarnackdelar RCT Relativt vetenskapligt säkert svar Legitimitet Stora tester Homogenitet Standardisering Osäker relevans SCD Enkelt i praktiken Relevant för praktiken Mindre säkert Etik- och metodproblem

kvalitetsarbete Brukarupplevd kvalitet Effektivitet

Uppföljning och utvärdering Uppföljning och utvärdering bör bl.a. göras utifrån hur väl verksamheten uppfyller lagstiftningens krav och de kommunala målen, hur väl verksamheten tillgodoser enskildas och gruppers behov, hur den enskilde och andra intressenter uppfattar verksamhetens kvalitet (klienterna/brukarna - personalen) (Kvalitetsarbete i socialtjänsten 2008)