Seminarium - fördjupning kring utvärdering av FoU Ove K. Vestman Presentation vid FoU-Välfärds konferens i Sundsvall 24 – 25 augusti 2011 Utgår från boken Utvärderandets konst (2011) av Ove Karlsson Vestman, Studentlitteratur

FoU-verksamhetens innehåll (SoS 2008) Klassificering av arbetssätt Aktiviteter 1. Granskande och undersökande Studier, utvärderingar, kartläggningar, forskning, kollegiegranskning 2. Kunskapsförmedlande/ utvecklande och inspirerande Seminarier och föreläsningar, studiecirklar, utbildningscirklar, FoU-cirklar, konferenser, utbildning för hela personalgrupper, FoU-caféer, FoU-seminarier, temadagar, idésmedjor, utvärderingsverkstäder, forskarskolor 3. Praktiknära innovationsstödjande Utvecklingsprojekt, utvecklingsarbeten, stipendier 4. Konsultativt/Rådgivande Handledning och konsultation (inkl. processtöd), nätverksträffar, diskussions- och dialoggrupper Övrigt Nyhetsbrev, meddelandeblad, hemsida, annat Ove K. Vestman 2011

FoU-verksamhetens arbetssätt (Stringer 2007) Look Think Act Reflect Look/Problemformuleringsfasen Vilka är FoU-miljöns bidrag när det gäller att identifiera och beskriva problem inom välfärdsområdet? Think/Analys- och förståelsefasen av hur problemen ser ut Vad bidrar FoU-miljön med för analyser av de problem som man identifierar och arbetar med? Act/Insats- och handlingsfasen vad man kan göra och hur det sker Utvecklar FoU-miljön några tydliga handlingsstrategier för att bearbeta eller lösa de problem som identifieras? Utvärderings- och reflektionsfasen Gör FoU-miljön egna utvärderingar av sitt arbete? Vilken typ av utvärdering och reflektion är det i så fall som utförs? Hur arbetar FoU-miljön för att integrera kunskaper från flera intressentperspektiv, t.ex. forskning, profession, brukare? Samlad utvärdering Lyckas FoU-miljön att kombinera flera perspektiv på kunskap i forskningsarbetets steg? Dominerar något av perspektiven sättet att arbeta vid FoU-miljön? Ove K. Vestman 2011

Att bedöma praktisk verksamhet Hur är FoU-miljöns förmåga att: Bedömningsskala Låg Hög Medel värde 1 2 3 4 5 1. Problemuppfattning Att synliggöra och lyfta fram problem inom de välfärdsområden man arbetar med 2. Analys och förståelse Att göra analyser av de problem som man identifierar samt bidra med fördjupade tolkningar 3. Insats och handling Att utveckla handlingsstrategier för problem som identifieras och att utforma lämpliga insatser som tillvaratar erfarenheter hos den professionelle praktikern och brukaren 4. Utvärdering och reflektion Att göra egna utvärderingar av sitt arbete och visa hur praktiker kan utvärdera sin verksamhet och använda erfarenhetsbaserade utvärderingsmodeller, exempelvis i form av egenutvärdering, kollegiegranskning, expertutvärdering 5. Sammanställning av kunskaper Att sammanställa och integrera kunskaper från olika intressentperspektiv och utveckla en mer samlad problembild av vad FoU bör arbeta med baserat på alla tre kunskapskällor – forskning, praktik och brukares erfarenheter Ove K. Vestman 2011

Att bedöma organisation Hur är FoU-miljöns förmåga: Bedömningsskala Låg Hög Medel- värde 1 2 3 4 5 1. Ledarskap Att visa ledarskap? (Begreppet preciseras i den konkreta utvärderingen) 2. Information och analys Att göra urval och hantera fakta om förebildliga organisationer och konkurrenter 3. Strategisk planering Att praktisera arbetsformer för strategisk planering, mål, strategier och planer för kvalitet 4. Medarbetarnas utveckling Att stimulera medarbetarnas engagemang, delaktighet, arbetstillfredsställelse 5. Verksamhetens utvecklings- och förbättringsprocesser Att hantera nya situationer, styrning av det dagliga arbetet, stödjande processer, samverkan, miljöhänsyn, uppföljning Ove K. Vestman 2011

Olika positioner för utvärderare (Furubo & Karlsson Vestman 2011) ”Outsider” till professionsfältet som utvärderas Position 1 Extern expert på utvärdering (revisorn) Extern till Organisationen Position 2 Intern utvärderare som ej ingår i verksamheten men finns inom organisationen (utredaren) Intern i organisationen Position 3 Extern utvärderare med kompetens inom fältet (expertutvärderaren, konnässören) Position 4 Självvärdering av verksamhetens egen personal (professionens egen bedömning) ”Insider” i professionsfältet som utvärderas Ove K. Vestman 2011

Utvärderarens roller (Skolits, Morrow, Burr, 2009) Faser i utvärderingsarbetet Olika roller för utvärderare Förberedande fasen Förberedelser för att göra en utvärdering Första kontakterna Planering av utvärderingen Tecknande av kontrakt Ledaren som initierar uppdraget I administrationen och samordnar Detektiven som utröner vilka behov som finns Designer som utformar utvärderingens upplägg Förhandlaren som upprättar kontrakt Genomförandefasen Implementering av utvärderingen Datainsamling Bedömning Rapportering Diplomaten som etablerar förtroende hos intressenterna Forskaren som samlar data Domaren som gör utvärderande omdömen Journalisten som rapporterar resultaten Efterarbete Främja resultatanvändning Reflektion (metautvärdering) Advokaten som företräder intresset för användning Lärande utvärderare som reflekterar över hela utvärderingen (metautvärderare) Ove K. Vestman 2011

Lärande genom utvärdering Vem lär vad? Influenser av Utvärderingen (Henry & Mark 2003) Lärande genom utvärdering Nivåer: 1. reproduktivt, 2. utvecklingsinriktat, 3. kreativt lärande (Ellström 1996) Individ Attitydpåverkan Pekar på viktiga frågor Ger en initierad bild av verksamheten Bidrar till att förstå verksamhetens idé Visar vad utvärdering är och kan utföras Ökad förmåga att använda utvärdering Har förfinat sitt nuvarande arbetssätt Har vidareutvecklat sitt arbetssätt inom ramen för gällande synsätt Har omprövat sitt grundläggande synsätt på arbetet Gruppnivå Ger argument för det egna programmet Legitimering av den egna verksamheten Impulser till lärande och enskilda som förändringsagenter Pekar på vilka värden och normer som dominerar och behöver kritiskt granskas och förändras. Har förbättrat befintliga arbetsmetoder Har utvecklat sitt arbetssätt inom ramen för gällande grundsyn Har förändrat grundsyn på sin roll och funktion Organisation Synliggör organisationens policy Visar vad man har för dagordning Ger ett policyorienterat lärande genom dialog och förhandling Modifikationer av organisationens policy Sprider kunskap om verksamheten, idéer och resultat till en extern publik. Har förfinat mål, regler och riktlinjer i verksamheten. Har förändrat sin struktur och sättet att arbeta. Har omprövat principer och synsätt och funktion i samhället. Ove K. Vestman 2011