Kari Jess Högskolan i Dalarna Per-Åke Karlsson FoU Sjuhärad Välfärd/ Högskolan i Borås Kristina Carlsson Uppsala kommun Utvärderingsverkstäder. Att bygga kunskap och kompetens för utvärdering Kari Jess Högskolan i Dalarna Per-Åke Karlsson FoU Sjuhärad Välfärd/ Högskolan i Borås Kristina Carlsson Uppsala kommun Verkstäder för att lära sig om utvärdering och uppföljning genom att göra en utvärdering eller utveckla ett system för uppföljning av löpande verksamhet

Grundidéer  Genomföra en utvärdering från ax till limpa och/eller utarbeta ett system för uppföljning  Kopplad till kunskapsbaserad, evidensbaserad praktik  Öka kunskapen om uppföljning och utvärdering samt bidra till förbättringar i verksamheten  Individ- och organisationsnivå

Struktur  Yrkesbakgrund och organisationstillhörighet (lika eller olika)  Uppdrag som rör välfärdsverksamhet inom den organisation där man själv arbetar (projekt eller ordinarie verksamhet)  Ledare från FoU-enheter/högskolor tillsammans med praktiskt verksamma (en processledare o en verksamhetskunnig)  4 – 7 uppdrag per verkstad  Önskvärt med 2 deltagare per uppdrag  Vem deltar?  Hel- eller halvdagar  Mini-föreläsningar och diskussioner  Hemläxor  Minnesanteckningar från träffarna

Process  Regelbundna träffar under 1 – 1½ år  Följer ett normalt utvärderingsförlopp  Grupprocess och -dynamik  Deltagarna stödjer varandra  Kunskap och erfarenheter delas  Avgränsningar och realistiska förväntningar är viktigt  Ledarna har flera roller

Process utifrån utvärderingens grundfrågor  uppdragsfrågan  Kunskapsfrågan  Bedömningsfrågan  Funktionsfrågan

Resultat  Rapporter – muntligt, skriftligt  Mer kunskap om utvärderings- och uppföljningsteori och -metoder  Förmåga till kritiskt granskande  Kapacitetsuppbyggnad för utvärdering?  Förbättrad verksamhet??

Innehåll vid träff Deltagarna presenterar hur de uppfattat ”hemläxan”/hemuppgiften från förra träffen Deltagarna diskuterar vilken ny ”hemläxa” som behövs, gemensam eller individuell Upplägg av nästa träff Miniföreläsning om aktuellt tema/ämne som deltagarna valt tillsammans med processledaren Diskussion utifrån miniföreläsningen Verksamhet/ aktivitet/ projekt presenterar sin status De andra ger konstruktiv kritik Ev arbete i ”projektpar”

Exempel på miniföreläsningar Definitioner, begrepp och olika modeller för uppföljning och utvärdering Definitioner, begrepp och olika modeller för uppföljning och utvärdering Utvärderarrollen - intern/extern Utvärderarrollen - intern/extern Programteori Programteori Informationsinhämtning Informationsinhämtning Analys Analys Värdering Värdering Etik Etik Användning/nyttiggörande Användning/nyttiggörande Rapportera och redovisa Rapportera och redovisa

M ELLAN TRÄFFARNA  Alla arbetar med sina utvärderingar  Alla arbetar med sina individuella eller gemensamma ”hemläxor”  Alla ”hemläxor” läggs ut på kommunikationsplattform el likn. någon vecka innan nästa träff  Verksamheten/ aktiviteten/projektet får individuell handledning 1 eller 2 gånger under processtiden i verkstaden

Ur verktygslådan – exempel  Reflekterande lärtillfällen  Vem (mini)föreläser?  Hjälpa varandra utanför verkstaden  Individuell handledning  Rummet  Protokoll  Litteratur och litteratursökning

Exempel på hur utvärderingsverkstad kan läggas upp Varierar mellan ledare och verkstäder!!!

Informationsmöte  Informationsmöte med chefer och potentiella deltagare om utvärderings- verkstadens idé och arbetssätt. Att diskutera bl. a: Avtal/överenskommelseAvtal/överenskommelse TidsåtgångTidsåtgång Hur resultatet ska tas tillvara i organisationenHur resultatet ska tas tillvara i organisationen

Träff 1 Lära känna varandra och de olika projekten/verksamheterna. Utifrån insänd kort beskrivning Förväntningar på utvärderingsverkstaden Vad är realistiskt att följa upp och utvärdera? Lektion om programteori – vad är det? Varför gör vi en PT? Etc Hemarbete: Göra en programteori utifrån den egna verksamheten

Exempel övning: Sockerkakans programteori FÖRUTSÄTTNINGAR - RESURSER - Vad behövs? AKTIVITETER – PROCESS - vad görs? Resultat ett: PRESTATIONER Vad produceras? Kommer ut av ansträngningarna? Resultat två: EFFEKTER Vad vill vi åstadkomma? - kortsiktigt, långsiktigt

Träff 2 Deltagarna kommer med sina programteorier som presenteras och diskuteras. Vad är den viktigaste frågan för utvärderingen? Biblioteksövning – Hur söker man information? Hemarbete: Fokusera uppföljnings- och utvärderingsfrågor

Träff 3 Föreläsning om olika sätt att följa upp samt om utvärderingsmodeller. Vi relaterar till de enskilda verksamheterna/projekten. Hemarbete: Välja system för uppföljning alternativt utvärderingsmodell/-er.

Träff 4 Föreläsning om datainsamlingsmetoder: Mixed methods, kvantitativa och kvalitativa. Huvudtyngd på de datainsamlingsmetoder som är aktuella för projekten/verksamheterna i verkstaden. Hemarbete: Välja datainsamlingsmetoder och påbörja datainsamlingen OBS! Här behövs ofta en längre tid mellan träffarna för datainsamling. Många väljer också att ta sin handledningstid under denna period.

Träff 5 Föreläsning om hur man kan presentera sina data. Exempel på olika visas. Diskussion om detta i relation till egna data. Hemarbete: Att presentera sina resultat

Träff 6 Föreläsning om hur man analyserar sina data. Diskussion om hur man gör detta i relation till verksamheternas/projektens egna data och i relation till valda uppföljnings- och utvärderingsmodeller. Exempel på olika typer av rapporter visas. Hemarbete: Den egna rapporten. Här kan man också välja att ha sin handledningstid.

Träff 7 Hur, mot vad, värderar (bedömer) man sina resultat? Göra själva (ut)värderingen Hur används utvärderingar – hur kan man främja önskad användning? Nyttogörandet Miniföreläsningar och diskussioner Hemarbete: Göra plan för ”nyttogörande”

Träff 8 Utvärderingsrapporterna presenteras. Deltagarna kommenterar varandra. Chefer/arbetsledare (uppdragsgivare) deltar Utvärdering av verkstaden Avslutning

Exempel projekt och rapporter Granskning av Äldreomsorg; Styrning, ledning och uppföljning av kvalitet och kostnader. Borås stad revisionen, 2013 Vad upplever föräldrarna? En utvärdering av föräldramöten. Svenljunga kommun, 2015

Exempel på rapporter forts. Uppföljning av Katamaran - Intensiv familjebehandling, IFB Expressed Emotion i IKB-modellen. En studie vid Socialpsykiatriska behandlingsteamet FFT-cannabis. En utvärdering Utvärdering av utredningsplatser inom hem för vård och boende. En brukarundersökning.

Utvärderingsverkstäder anknyter till deltagarorienterat forsknings- och utvecklingsarbete: Participatorisk aktionsforskning Handlingsorienterat forskningssamarbete Horisontellt snarare än vertikalt arbetssätt Forskare/processledare och deltagare är experter, men inom olika områden

Studier av utvärderingsverkstäder 2009 – 2010 NUV – nätverket för utvärderingsverkstäder med syfte: studera UV samt utveckla UV Webbenkät till 150 deltagare – 97 svarade Intervjuer med chefer – uppdragsgivare Studier av rapporter från UV

Några resultat Tid behövs för utvärderingsarbetet mellan träffarna Klart och tydligt uppdrag krävs Uppbackning från chef/uppdragsgivare viktigt Deltagarna lär sig om och för utvärdering (learning by doing) Utvärderingar blir gjorda Led i organisationens/verksamhetens kvalitetsarbete, i bästa fall Ej kunnat belägga så mycket bidrag till bygga kapacitet för utvärdering eller för verksamhetsförbättring

Texter om utvärderingsverkstäder:  Karlsson, Per-Åke (2002) Utvärderingsverkstäder. Stöd för interna utvärderingar. Göteborg: FoU i Väst  Beijer E, Eriksson B, Karlsson P-Å, Leissner T. Utvärderingsverkstäder –ett sätt att utveckla utvärdering. Socionomen nr 4/2006  Karlsson P-Å, Beijer E, Eriksson B, Leissner T (2008) Evaluation Workshops for Capacity Building in Welfare Work – Some Swedish Examples. Evaluation, October 2008, Volume 14, No. 4  Beijer E, Eriksson B, Karlsson P-Å, Leissner T. Utvärderingsverkstäder – grundläggande kännetecken, struktur och innehåll. Underlag Forsakonferens mars 2009  Beijer E, Eriksson B E, Green J, Jess K, Karlsson Vestman O, Niklasson L (2011): Verkstäder för utvärdering i välfärdsverksamheter- erfarenheter från mellansvenska FoU- enheter och högskolor.  Utvärderingsverkstäder i välfärdsverksamheter – studier av verkstädernas kvalitet och nytta. Paper till SVUF-konferens 2011  Eriksson B E & Karlsson P-Å red.(2012): Handbok för utvärderingsverkstäder. FoU Välfärd Värmland.