Utvärderingsverkstäder Kari Jess Uppsala universitet Verkstäder för att lära sig om utvärdering och uppföljning genom att göra en utvärdering eller utveckla ett system för uppföljning av löpande verksamhet

Grundidéer Genomföra en utvärdering från ax till limpa och/eller utarbeta ett system för uppföljning Kopplad till kunskapsbaserad, evidensbaserad praktik Förbättra kunskapen om uppföljning och utvärdering samt bidra till förbättringar i verksamheten Individ- och organisationsnivå

Struktur Yrkesbakgrund och organisationstillhörighet (lika eller olika) Uppdrag som rör välfärdsverksamhet inom den organisation där man själv arbetar (projekt eller ordinarie verksamhet) Ledare från FoU-enheter/högskolor tillsammans med praktiskt verksamma (en processledare o en verksamhetskunnig) 4 – 7 uppdrag per verkstad Önskvärd med 2 deltagare per uppdrag Mini-föreläsningar och diskussioner Hemläxor Minnesanteckningar från träffarna E

Process Regelbundna träffar under 1 – 1½ år Följer ett normalt utvärderingsförlopp Grupprocess och -dynamik Deltagarna stödjer varandra Kunskap och erfarenheter delas Avgränsningar och realistiska förväntningar är viktigt Ledarna har flera roller P

Resultat Rapporter – muntligt, skriftligt Mer kunskap om utvärderings- och uppföljningsteori och -metoder Förmåga till kritiskt granskande Kapacitetsuppbyggnad för utvärdering? Förbättrad verksamhet? p

Program vid träff Miniföredrag i cirka en halvtimma om något tema/ämne som deltagarna valt tillsammans med processledaren Diskussion utifrån miniföredraget Verksamhet/ aktivitet/ projekt presenterar sin status De andra ger konstruktiv kritik Deltagarna presenterar hur de uppfattat ”hemläxan” från förra träffen Deltagarna diskuterar vilken ny ”hemläxa” som behövs, gemensam eller individuell Upplägg av nästa träff

Exempel på miniföreläsningar Definitioner och olika modeller för uppföljning och utvärdering Utvärderarrollen - intern/extern Programteori Informationsinhämtning Analys Värdering Etik Användning/nyttiggörande Rapportera och redovisa e

Mellan träffarna Alla arbetar med sina utvärderingar Alla arbetar med sina individuella eller gemensamma ”hemläxor” Alla ”hemläxor” läggs ut på kommunikationsplattform el likn. någon vecka innan nästa träff Verksamheten/ aktiviteten/projektet får individuell handledning ca. 1 gång under processtiden i verkstaden av forskaren

Ur verktygslådan – exempel Reflekterande lärtillfällen Hjälpa varandra utanför verkstaden Individuell handledning Rummet Protokoll Litteratur och litteratursökning E + p

Ett exempel på hur det kan se ut

Informationsmöte Informationsmöte med chefer om Utvärderingsverkstadens idé och arbetssätt. Att diskutera bl. a: Avtal/överenskommelse Tidsåtgång Hur resultatet ska tas tillvara i organisationen

Träff 1 Lära känna varandra och de olika projekten/verksamheterna. Vad är realistiskt att följa upp och utvärdera? Lektion om programteori – vad är det? Varför gör vi en PT? Etc Hemarbete: Göra en programteori utifrån den egna verksamheten

Träff 2 Deltagarna kommer med sina programteorier som presenteras och diskuteras. Biblioteksövning – Hur söker man information? Hemarbete: Fokusera uppföljnings- och utvärderingsfrågor

Träff 3 Föreläsning om olika sätt att följa upp samt om utvärderingsmodeller. Vi relaterar till de enskilda verksamheterna/projekten. Hemarbete: Välja system för uppföljning alternativt utvärderingsmodell/-er.

Träff 4 Föreläsning om datainsamlingsmetoder: Mixed methods, kvantitativa och kvalitativa. Huvudtyngd på de datainsamlingsmetoder som är aktuella för projekten/verksamheterna i verkstaden. Hemarbete: Välja datainsamlingsmetoder och påbörja datainsamlingen OBS! Här behövs en längre paus för datainsamling, intervjuer etc. Många väljer också att ta sin handledningstimme under denna period.

Träff 5 Föreläsning om hur man kan presentera sina data. Exempel på olika visas. Diskussion om detta i relation till egna data. Hemarbete: Att presentera sina resultat

Träff 6 Föreläsning om hur man analyserar sina data. Diskussion om hur man gör detta i relation till verksamheternas/projektens egna data och i relation till valda uppföljnings- och utvärderingsmodeller. Exempel på olika typer av rapporter visas. Hemarbete: Den egna rapporten. Här kan man också välja att ha sin handledningstimme.

Träff 7 Utvärderingsrapporterna presenteras. Deltagarna kommenterar varandra. Chefer/arbetsledare deltar Avslutning

Texter om utvärderingsverkstäder: Karlsson, Per-Åke (2002) Utvärderingsverkstäder. Stöd för interna utvärderingar. Göteborg: FoU i Väst Beijer E, Eriksson B, Karlsson P-Å, Leissner T. Utvärderingsverkstäder –ett sätt att utveckla utvärdering. Socionomen nr 4/2006 Karlsson P-Å, Beijer E, Eriksson B, Leissner T (2008) Evaluation Workshops for Capacity Building in Welfare Work – Some Swedish Examples. Evaluation, October 2008, Volume 14, No. 4 Beijer E, Eriksson B, Karlsson P-Å, Leissner T. Utvärderingsverkstäder – grundläggande kännetecken, struktur och innehåll. Underlag Forsakonferens mars 2009 Beijer E, Eriksson B E, Green J, Jess K, Karlsson Vestman O, Niklasson L (2011): Verkstäder för utvärdering i välfärdsverksamheter- erfarenheter från mellansvenska FoU-enheter och högskolor. Eriksson B E & Karlsson P-Å red.(2012): Handbok för utvärderingsverkstäder. FoU Välfärd Värmland. p