Utvärdering Föreläsning i SQ 1338. Utvärdering - definitioner Utvärdering, evaluering, sammanfattande term för metoder som syftar till en systematisk.

En presentation över ämnet: "Utvärdering Föreläsning i SQ 1338. Utvärdering - definitioner Utvärdering, evaluering, sammanfattande term för metoder som syftar till en systematisk."— Presentationens avskrift:

1 Utvärdering Föreläsning i SQ 1338

2 Utvärdering - definitioner Utvärdering, evaluering, sammanfattande term för metoder som syftar till en systematisk bedömning av resultaten och de mer långsiktiga effekterna av genomförda insatser. (www.ne.se)

3 Att utvärdera är att noggrant bedöma. Att bedöma innebär att fastställa värdet. Utvärdering innebär att skilja det värdefulla från det värdelösa. (Scriven )

4 Två sidor 1.att införskaffa, systematisera och redovisa kunskap om verksamheter och insatser, samt 2. att värdera denna kunskap mot en tydliggjord referensram. (Eriksson & Karlsson, 1990) …och en till 3.att kommunicera denna kunskap med intressenterna

5 Värderingskriterier Aktivitet –Måluppfyllelse (+bieffekter) Aktör –Brukare –Proffs –Intressenter Ekonomi –Produktivitet –Effektivitet

6 Historien Industrialismen Välfärdsstaten USA Såväl en följd av det moderna samhället … …som kritik av det moderna samhället.

7 Böljorna Rationalitet Deltagare Nyliberalt Evidens Brukare ?

8 Utvärdering används till att kontrollera främja lära kritisera

9 Utvärdering Vill förena ord och handling Är en samverkan mellan parter Handlar (ofta) om organisation Kan öka professionaliteten Kan öka legitimiteten i offentligt service Kan öka kvaliteten i offentlig service Ökar (ofta) den politiska makten Är alltid en etisk fråga

10 Etik ”gyllene regel” : ”Utvärdera i relation till andra och deras situation så som du själv skulle vilja bli utvärderad”

11 Brukarens rätt 1.Att f å r veta 2.Att delta i valet 3.Vad skall h ä nda konkret 4.Hur l ä nge 5.Alternativa metoder 6.Kostnad 7.Dokumentation 8.Avslut 9.Kontroll ö ver sitt liv 10.Information om resultaten

12 Fyra grundproblem -Uppdragsfrågan -Kunskapsfrågan -Bedömningsfrågan - Funktionsfrågan

13 uppdraget Syfte Uppdragsgivare Ekonomi Vem

14 Utvärdering AVI Utifr å nInifr å n Distans N ä rhet Efter å t Under tiden Tillf ä llig Kontinuerlig Inte f ö r omedelbart bruk F ö r omedelbart bruk S ä rskild utv ä rderare Ej s ä rskild utv ä rderare ” Synlig ”” Osynlig ”

15 kunskapen Utvärderingsmodell Metod/er Urval Datainsamling Analys Samhällsvetenskaplig metod Underordnad syftet med utvärderingen

16 bedömning - jämförelse Över tid före och efter en insats Mellan grupper Med teori, mål, ideal osv Vem gör bedömningen

17 funktion Användning Olika grupper position Spridning Hyllvärmare

18 Summativ eller formativ Effektmätning Slutlig värdering Kunskap för framtiden Bristande kunskap pga distans Möjlighet till påverkan av insatsen Kunskap i nutiden Problematiska kopplingar - närhet

19 Utvärderingsmonstret Ramlagar Resultatstyrning Förenklar det komplexa Perversa bieffekter

20 Tre inriktningar 1. Programutvärdering –en helhet av flera insatser –politiskt initiativ –bred ansats –programteori tankemodellen målsättningen

21 storstadssatsningen Nytt politikområde Programteori –Stöd till utsatta områden => minskar segregationen, ökar ek tillväxt –Olika stödområden: skola, arbete osv Oöverskådligt många insatser Stor satsning på utvärdering –främjande + ny kunskap

22 storstadssatsningen Utvärderingen: 150-200 rapporter Vinna ny kunskap (+ underlag för politik) Alla tänkbara metoder men en övervikt för det kvalitativt analyserande Forskarbedömning (+ politiker) En del bra rapporter + mycket oanvändbart Mycket ny kunskap

23 storstadssatsningen Ett misslyckande jämfört med programteorin… … men många lyckade insatser Konsensus bland forskare? Slagträ i politiken Nödvändigt stöd för utsatta stadsdelar Tillbaka till det gamla Perversa bieffekter?

24 2. Verksamhetsutvärdering –måluppfyllelse –organisation –systemet

25 Papula Uppdraget från Urban II inte SDN Måluppfyllelse(bieffektmodell) Mål (Papula, SDN) teori Metod-er Användning

26 3. Individutvärdering –brukarperspektiv –metod –en del av arbetet

27 individuellt Arbetsplaner Manualer, BBIC, DUR?, ASI Process men också före-efter Brukarinflytande

28 57 modeller för utvärdering?? Nej! Tre. 1.Processutvärdering 2.Före-efter modell 3.Målrelaterad utvärdering

29 processutvärdering Struktur - process Förändringen central Upprepad datainsamling Öppen Social konstruktionsprocess Relationer, självbilder, samspel Utfall mindre viktigt Beskriva ett förlopp - formativ

30 före - efter modell Minst 2 insamlingar av data, gärna fler Blir det bättre - leder till förändring: kärnfrågan Summativ Grundläggande undersökningsmetod Manualbaserade metoder

31

32 Test 1 Intervention Test 2 systematisk jämförande - en grund för utvärdering Mäter skillnaden - men du måste veta vad skillnaden beror på Tidsspannet är avgörande för resultatet Fler kontroller före och efter ger ett säkrare resultat Metoden kan inte ändras under tiden Orsak - verkan är alltid avgörande

33 måluppfyllelsemodell Måluppfyllelseanalys –Tydliga nivårelaterade mål –Kända och accepterade –Realistiska och bedömningsbara Vanlig Politisk Tunnelseende - olämplig för socialt arbete? Bieffektsanalys Målfri utvärdering

34 Två metoder Randomiserade kontrollerade studier (RCT) Single-Case Design (SCD)

35 RCT Säkraste svaret Vetenskaplig legitimitet Långt från vardagen - mindre relevant

36 Single-Case Design Lätt att genomföra Osäkrare svar Hög relevans Lätta att tillämpa Svårt att standardisera

37 Evidensbaserad praktik Föreläsning SQ 1338

38 Jämförelse RCT - SCD (Oskarsson 09. s 32) fördelarnackdelar RCT Relativt vetenskapligt säkert svar Legitimitet Stora tester Homogenitet Standardisering Osäker relevans SCD Enkelt i praktiken Relevant för praktiken Mindre säkert Etik- och metodproblem

39 kvalitetsarbete Brukarupplevd kvalitet Effektivitet

40 Uppföljning och utvärdering Uppföljning och utvärdering bör bl.a. göras utifrån hur väl verksamheten uppfyller lagstiftningens krav och de kommunala målen, hur väl verksamheten tillgodoser enskildas och gruppers behov, hur den enskilde och andra intressenter uppfattar verksamhetens kvalitet (klienterna/brukarna - personalen) (Kvalitetsarbete i socialtjänsten 2008)