Utvärdering – av vad, för vem och varför? SPARC-konferens 16 maj 2014 Genom att man allt mer arbetar med mål- och resultatstyrning, så finns ett ökat behov från beslutsfattarna att få återkoppling på att den verksamhet de beslutat om också genomförs – och att den också lett till avsett resultat. De behöver uppföljning och utvärdering av verksamheten. Det här har accentuerats i och med att allt mer offentlig verksamhet läggs ut på privata aktörer. Då behöver samhället få koll på att man får den verksamhet som man betalar för med skattepengarna. Utvärdering och uppföljning är alltså något många jobbar med. Men frågan om att exempelvis utvärdera en verksamhet är mer komplex än man kanske tänker så där spontant. Därav denna rubrik: Utvärdering – av vad, för vem och varför? Jag tänkte börja med att ge en kort introduktion kring några begrepp och vad utvärdering kan innebära. Sedan kommer vi att få höra vilka erfarenheter våra medverkande har av utvärdering/uppföljning. Sara Karlsson som är kvalitetssamordnare på KTH Mikael Strömstedt , utvecklingschef på Unionen, som ska berätta om hur de jobbar med ”lärande loopar” Torkel Wadman, som är projektledare på Sveriges Kommuner och Landsting (SKL) – avdelningen för Ekonomi och styrning – och som jobbar med att ge stöd till kommuner/landsting i framför allt deras uppföljningsarbete Elisabeth Bergdahl som är forskare på FOU-enheten i Jakobsberg och som i sin forskning ser vilka krav på uppföljning och utvärdering som verksamheterna har att förhålla sig till.

Några definitioner Uppföljning. Om du vill veta hur en verksamhet ser ut/fortlöper Utvärdering. Om du vill veta hur bra eller dålig en verksamhet eller intervention är (relaterat till vissa kriterier) Forskning. Om du också vill undersöka orsaker till ett problem och hur detta påverkas av insatsen (generell kunskap om problem av mer grundläggande natur) Förhandsutvärdering Formativ utvärdering Summativ utvärdering Introduktion Jag tänkte börja med några definitioner. Inte minst om vad skillnaden är mellan uppföljning och utvärdering. De här definitionerna är hämtade från Ove Karlsson Vestman, professor i pedagogik som skrivit en hel del om utvärdering. Han har föreslagit dessa definitioner (finns ju också andra), men har påpekar också att gränsen mellan dem inte är klar, att de överlappar ofta varandra. Kommentar till definition Utvärdering Här finns alltså både en beskrivande del och en värderande del. Och här blir frågan om vilka kriterier som utvärderingen ska göras emot viktig. Vad grundas bedömningen bra/dålig på. Är det självklart något som alla som berörs av en utvärdering kan ha en samsyn om? Mer utförlig definition från utvärderingsforskaren Michael Scriven (via Ove Karlsson Vestman (s 24)): ”…systematisk beskrivning och bedömning av pågående eller avslutad intervention eller aktivitet. Beskrivningen ska ligga till grund för en bedömning relaterat till redovisade kriterier. Syftet är att presentera ett utlåtande om vad utvärderingsobjektet har för inneboende kvaliteter (meriter) och nytta (värde) för omvärlden.” Kommentar till definition Forskning Om du vill, förutom beskrivning, också undersöka orsaker till ett problem och hur problemet påverkas av insatsen (generell kunskap om problemställningar av en mer grundläggande natur) Några andra slag av definitioner/kategoriseringar Summativ utvärdering – görs i efterhand m(ex post). Formativ utvärdering – görs fortlöpande under projektets gång, med återföring till projektet för att det ska kunna förbättras (dock utan det utvecklingsansvar som ligger på utvärderaren vid lärande utvärdering). Därtill Förhandsutvärdering (ex ante), man studerar projektet teori/logik – verkar de olika delmålen logiska i förhållande till huvudmålet. Finns tillräckliga resurser. Ev konkurrerande verksamheter som kan ställa till problem (och andra förutsättningar). (Blå bok s 26-27)

Varför utvärdering? Kontroll och ansvarsutkrävande Utveckling och lärande Kritisk granskning Styrmedel Ove Karlsson Vestman Evert Vedung, EU-kommissionen Ove Karlsson Vestman: Kontroll och ansvarsutkrävande (från den som givit ett mandat/uppdrag – t ex att organisationen följer demokratiskt fattade beslut) Främjande av utveckling och lärande Kritisk granskning – bidra till mer kunskap om hur samhället fungerar och därmed till social utveckling och demokratisering I begreppet kontroll/ansvarskrävande ser Evert Vedung att det också finns en styrningsfunktion. Det är lustigt nog annars något som berörs i ganska liten utsträckning i den litteratur jag gått igenom – trots att ett vanligt uttryck är att ”det som mäts blir gjort”. Vedung konstaterar dock att syftet med kontroll är ”att den förmodas leda till större följsamhet hos executiven”. Men att det då förutsätter att ”de styrda är informerade om styrmedlens existens, innebörd och eventuella tillgänglighet. Kort sagt., att det som de gör ska utvärderas/följas upp. Vedung betonar alltså utvärderingen i sig kan förväntas ge effekter, lika väl som det insats som ska utvärderas. Användningen av en utvärdering börjar därmed redan när man klargör att utvärdering ska ske. De som ska utvärderas försöker då anpassa sitt handlande efter vad de tror att den kommande utvärderingen kommer att inriktas på. Också EU-kommissionen berör utvärderingens styrande funktion och skriver i en av sina guidelines* (utvärderingen som ”managerial tool”. Vidare på det spåret: Ellström påpekar också att genom att alla får del av samma information från utvärderingen kan det ge underlag för kommunikation mellan olika nivåer/enheter i organisationen. Informationen från utvärderingen kan också fungera som en ”störning” som bryter ”produktionens logik” och därmed bidrar till ett alternativt tänkande i organisationen – och därmed till utveckling. (LK uppsats s 3-4). *Indicative Guidelines on Evaluatio Methods: Evaluation during the Programming period. Working document No. 5)

Hur kan den användas? Instrumentellt, förbättrande Upplysande, konceptuellt Legitimerande, symboliskt Taktiskt, politiskt Rituellt Lärande utvärdering Vetenskap Förbättring Individuellt och organisatoriskt lärande Opinionsbildning Evert Vedung, P-E Ellström Syfte och användningsområden ligger ju nära varandra. Men när man pratar om användningsområde får man en mer finmaskig kategorisering som jag tycker kan vara till hjälp i tänkandet. Det får i alla fall mig att se tydligare att utvärdering inte bara handlar om de mer ”officiella” syftena utan kan användas på många sätt – i vissa fall med dragning åt manipulation. Viktigt vara klar över vad huvudsyftet är. Om syftet primärt är kontroll så kan det lätt gå ut över utvecklings-/förbättringsarbetet och lärandet Evert Vedung: Instrumentell. Då utvärderingsresultatet används som grund för beslut Upplysande. Då utvärderingen leder till att förståelsen för frågan ökar eller till att ett begrepp blir tydligare (dock ej för beslut eller konkret handling) Legitimerande. Då resultatet används för att rättfärdiga, försvara eller bekräfta en viss ståndpunkt Taktisk. Då man t ex använder utvärderingen för att undvika beslut i nuet (skjuter på beslutet med hänvisning till att utvärdering ska ske) Rituell. Då den används för att ”visa upp” verksamheten eller kanske för att visa att man är en modern organisation. P-E Ellström Instrumentell, förbättrande. Då utvärderingsresultatet används för att förbättra en viss verksamhet eller som underlag för beslut. Konceptuell. Då utvärderingen bidrar med nya begrepp, idéer och perspektiv för verksamheten. Symbolisk. Då utvärderingsresultatet används för att legitimera en viss verksamhet. Politisk. Då utvärderingsresultatet används som argument för en åtgärd som beslutats och genomförts på andra grunder. P-E Ellström använder ju också begreppet lärande utvärdering. I detta ligger: Att utveckla vetenskapligt hållbar kunskap om det som utvärderas Att ge underlag för förbättringsåtgärder Att bidra till individuellt och organisatoriskt lärande Att ge underlag för t ex offentlig debatt och opinionsbildning

Vad är det som ska utvärderas? Relevans/behov. Finns behov av insatsen? Löser den problemen? Konsekvens. Finns konsekvens mellan olika mål och prioriteringar? Resultat och effekt, effektivitet. Resultatet i relation till målen? Bidrar verksamheten till måluppfyllelse? Produktivitet. Resultatet relaterat till använda resurser? Process. Hur fungerar genomförandet? Teori. Sambandet mellan mål, processer, resultat - för mer generaliserbar kunskap . EU-kommissionen, Ove Karlsson Vestman Här kommer också in frågan vad man ska utvärdera emot. Vilka kriterier bedömningen göras emot. Många olika intressenter: beslutsfattare, genomförare, brukare av olika slag – olika behov och olika intressen. Kommentarer: Relevans/behov. Finns behov av insatsen? Löser den problemen? Är den adekvat utifrån mål och behov?

Vem är utvärderingen till för? Beslutsfattare Om syftet är instrumentellt Beslutsfattare och/eller genomförare Om syftet är upplysande/konceptuellt eller förbättrande Ledning/uppdragsgivare Om syftet är styrning eller kontroll/ansvarsutkrävande Politiska aktörer Om syftet är legitimerande, taktiskt eller rituellt Medborgare/brukare Om syftet är förbättrande, kritisk granskning eller underlag val Beslutsfattare Om syftet är instrumentellt (Instrumentellt = underlag för beslut) Beslutsfattare och/eller genomförare Om syftet är upplysande, förbättrande/utvecklande eller konceptuellt (innefattas i begreppet lärande) Ledning/uppdragsgivare Om syftet är styrning eller kontroll/ansvarsutkrävande Politiska aktörer Om syftet är legitimerande (symboliskt), taktiskt (politiskt), rituellt (rituellt= för att ”visa upp” verksamheten eller kanske för att visa att man är en modern organisation). Medborgare/brukare Om syftet är förbättrande/utvecklande, underlag för val, kritisk granskning Lärande

Maktfrågan – vem bestämmer vad? Vad ska utvärderas? I vilket syfte? När ska utvärderingen genomföras? Vilka kriterier ska den relateras till? Vilka metoder? Vem ska göra utvärderingen? Vad ska utvärderas? T ex process eller resultat? I vilket syfte? T ex kontroll, utveckling eller lärande? När ska utvärderingen genomföras? T ex under eller efter arbetet? Vilka kriterier ska den relateras till? Vem perspektiv ska man utgå från? Det som är bra för en viss brukare kanske är till nackdel för en annan eller besvärligt/dyrt ur anordnarens/genomförarens perspektiv. Vilka metoder? Här kommer exempelvis in frågor som om och i så fall hur deltagarna ska involveras. Liksom om fokus ska ligga på att få kvantitativa resultat eller om man vill använda mer kvalitativa metoder. Beror ju på syftet. Om utveckling krävs bred delaktighet från berörda intressenter och medarbetare (Karlsson Vestman, bok s 118 – där också om olika utvärderingsmodeller). Vem ska göra utvärderingen? T ex extern eller intern utvärderare? Om lärande/utveckling ligger i fokus kanske det fungerar bättre med en intern utvärderare som verkligen förstår verksamheten. Om kontroll är syftet kanske man föredrar en extern. Hämtat från Ove Karlsson Vestman s 29 (boken) Vem/vilka som beslutar om dessa frågor = en maktfråga. Det påverkas av: Vem som initierar utvärderingen, vem som finansierar den och vem som utför den.

Några risker Kan stjäla tid och kraft från kärnverksamheterna Kan leda till minskad följsamhet i organisationen (”kontrollens tillitseroderande kraft”) Kan underminera de professionellas kompetens Kan resultera i målförskjutning Kan leda till alltför kortsiktig/prestationsinriktad verksamhet - påverkar utveckling och innovation negativt Kan göras för snabbt (måluppfyllelse tar ofta tid) Utvärderingströtthet Blir inte använd Stjäl tid och kraft från kärnverksamheterna (Vedung sid 283) Kan leda till minskad följsamhet i organisationen (”kontrollens tillitseroderande kraft”) (Vedung s 282) – men kontinuerlig återföring av information om hur verksamheten utvecklas kan stimulera människor till förbättringar. Den amerikanske forskaren Terese (?) Amabile beskriver experiment som visar att om extern utvärdering ska ske kan det ha negativ effekt på kreativiteten (även om den kan stimulera arbetsinsatser av mindre kreativ art). Den inre motivationen kan avta i vetskap om en kommande kontrollerande utvärdering. Är återkopplingen konstruktiv och även bekräftar den utvärderades kompetens och positiva inslag i verksamheten, så kan den dock stödja både kreativiteten och den inre motivationen. Kan underminera de professionellas kompetens. Deras förmåga att göra bedömningar ställs åt sidan) (OKV s 71) Kan leda till målförskjutning (”System för evaluering och resultatuppföljning kan ju styra myndigheters verksamhet mot mätbara kvantitativa uppgifter, som inte behöver återspegla organisationens reson.”, Vedung sid 283). Ex: bibliotek sätter upp som produktivitetsmått mängd utlånade böcker. Kan leda till att det blir viktigare att få böckerna utlånade än lästa. Här balans – att lyckas formulera tydliga mål som går att följa upp/utvärdera, men utan att man därmed tappar riktningen. Det får inte bli så att man väljer mål utifrån att det är möjligt att utvärdera (t ex kvantifierbarhet), istället för utifrån om det är det man vill nå. (Hur viktig är mätbarhet– ibland kanske det viktigaste är att få underlag för gemensamt resonemang om verksamheten. Då kan man ju använda sig av andra indikatorer än kvantifierbara dylika). Kan leda till ett alltför kortsiktigt/prestationsinriktat arbete som påverkar utveckling och innovation negativt (Ellström s 119, bok Lärande utvärdering genom följeforskning). Görs ofta tätt på att insatsen är avslutad (t ex direkt efter kurs vilket kan leda till både för pos .och neg. resultat) Utvärderingströtthet (Vedung s 282) Blir inte använd. Olika strategier att hantera detta, t ex spridningsstrategin. Effektivisera kommunikationen från utvärdering till avnämare, t ex hur rapportering sker (när, hur, anpassning till olika målgrupper etc). Och produktionsstrategin: Öka relevans/förbättra trovärdighete genom sättet utv. tas fram på. Om de presumtiva användarna varit delaktiga i arbetet med att ta fram vilka frågeställningar utvärderingen ska behandla, då ökar deras intresse för resultatet. Liksom om utvärderingen fokuserar på förklaringsfaktorer som de påverkas (manipulerbara förklaringsfaktorer). En annan strategi är att göra avnämarna delaktiga i utvärderingsarbetet (självutvärdering). (också avnämarstrategi och interventionsstrategi). (Vedung s 271 ff): Men ska utvärderingen faktiskt komma till nytta krävs att utvärderingsresultatet behandlas i det som Vedung kallar ”en social samhandlingsprocess” (s 269), dvs att utvärderase och användare eller användare sinsemellan resonerar om resultatet och vilka slutsatser de drar av det.

”Om målet är att åstadkomma förbättringar och utveckling krävs en bred delaktighet från berörda intressenter och medarbetare. Då krävs också ett målmedvetet och mödosamt arbete för att gransknings- och förbättringsarbete ska bli ett naturligt inslag i den dagliga verksamheten. För att stimulera sådana processer är det inte alltid meningsfullt att uttala sig i detaljerade skalsteg. Det som behövs är snarare att kunna föra utvärderande resonemang om vad den granskade verksamheten har för starka och svaga sidor och om vad som kan förbättras och tillvaratas…” Ove Vestman Karlsson: Utvärderandets konst (sid 118)