Utvärderingsmonstret Lena Lindgren 5 september 2014
Agenda Hur märks utvärderingsmonstret? Drivkrafter Kvalitetsmätning, en form av uppföljning Nyckelbegrepp (kvalitet, resultat, indikator) ---------------------------------------------- Grundmodell för kvalitetsmätning Problem som ofta uppstår Möjlighet 1: Håll isär kontroll/utveckling. Möjlighet 2: Tänk efter mer före. Möjlighet 3: Ta bort skiten!
Hur märks utvärderingsmonstret? Mål- och resultatstyrning New Public Management Bortom NPM Kvalitets-paragrafer Systematiskt kvalitetsarbete Öppna jämförelser Nationella riktlinjer Nationellt fackspråk Evidens-rörelsen Utvärderings-myndigheter Förstärkt tillsyn
Drivkrafter Från regler och procedurer till fokus på kvalitet och resultat. Modern kvalitetsteknik inom industrin. IT-utveckling med gigantiska möjligheter att lagra och kommunicera ett ett ökat flöde av information. New Public Management-tänkande, inkl. mätsystem, kundorientering och kundval. Privata driftsformer kräver ökad granskning i en omfattning som inte förutsågs – och som vi ännu inte sett slutet på. SOU 2013:53 om tillsyn och kontroll på hälso- och sjukvårdens område
Nästan alla drabbas….
Socialtjänstens utvärderingsarena Brukare Strukturerad dokumentation Systematiska bedömningsinstrument Individuella genomförandeplaner Kommun och enheter Systematiskt kvalitetsarbete Tillsyn (IVO) Kommunal revision Lokala/interkommunala FoU-enheter Lokala uppföljnings- och utvärderingssystem System Nationell statistik om socialtjänsten Analyser, utvärderingar (SoS, Vårdanalys) Öppna jämförelser, brukarundersökningar (SoS, SKL) Kolada (SKL) Internationellt Health Data (OECD) Social Indicators (OECD) Common Assessment Frameworks (EU)
Allra mest intressant … Expertgruppen för kvalitet i välfärden ”Företagen inom vård, skola och omsorg bör arbeta för att sätta branschstandarder för god kvalitet, i samarbete med övriga aktörer där det är tillämpligt” (min kurs.) ”Särskild oberoende organisation utanför det egna företaget för att ta emot klagomål, etc. Webbportaler EuroHealth Consumer Index Omvård.se Doktorsguiden
Kvalitetsmätning, en form av uppföljning Uppföljning, görs löpande enligt fasta rutiner för att övervaka hur en verksamhet utvecklas i vissa bestämda avseenden. Data som används är normalt kvantitativ, hämtas från administrativa datakällor och/eller regelbundna enkätundersökningar. Jfr. systematisk uppföljning enl. SoS som grund för kvalitetsarbete. Utvärdering, ”the determination of the worth or value of something, judged according to appropriate criteria, with those criteria explicated and justified” (Scriven). Data som används bestäms från fall till fall. Internationell utveckling ”from studies to streams”.
Kvalitet – ett ord vi inte verkar få nog av Kvalitet som kan mätas standardiserat blir allt viktigare, inom allt fler politikområden. Men vad är kvalitet? Vad menar de som säger att kvaliteten ska öka? Vad mera exakt är det som ska öka? Vad ska minska? Ordet används som om det vore självklart vad som avses. Det tas för givet att det finns något värdefullt, objektivt och vetbart som kan kallas kvalitet.
Emily Dickinson om kvalitet som en känsla När jag läser en dikt och håret reser sig på mitt huvud, då vet jag att den dikten är bra.
Kvalitetsteknik inom industrin Kvalitetsbegreppet i offentlig sektor har utvecklats mer eller mindre som en spegling av utvecklingen i den privata sektorn. Frånvaro av fel, följsamhet till till på förhand bestämda procedurer samt vikten av att basera beslut på fakta. Produktens/tjänstens lämplighet för användning – ”fitness for use”. Vikten av ledarskap, de anställdas ansvar och engagemang för ständig förbättring. Kundnöjdhet. Kvalitetsbegreppets fokus har över tid har vidgats till att omfatta hela den organisatoriska process som krävs för att producera en produkt/tjänst.
Ett vanligt sätt att förstå kvalitet Kvalitet = någontings (en verksamhets) beskaffenhet eller önskvärda egenskaper som kan bo i alla led av verksamheten. Jfr tygers kvalitet. Resurs-/strukturkvalitet = vad verksamheten har Processkvalitet = vad verksamheten gör Resultatkvalitet = vad verksamhetens målobjekt får Jfr byggstenar i programteori Kvalitet i fht resultat – begreppslig förvirring i svensk förvaltningsprosa? Jfr engelskans performance ”The quality of actions being performed and/or the quality of what has been achieved through those actions”
Resultat I affärsvärlden – finansiella resultat, generera vinst, marknadsandelar. I offentliga sektorn – vad som görs, vad det leder till och till vilken kostnad? Allt som kommer ut ur en verksamhet. De prestationer som myndigheter åstadkommer och de effekter som prestationerna leder till. Effekter i form av ett uppmätt tillstånd hos målobjektet. Effekter som en effekt av verksamhetens prestationer. Vad värderas i termer av effektivitet? - Produktivitet (efficency) - Effektivitet (måluppfyllelse) - Kostnadseffektivitet (cost-effectiveness)
Kvalitets- och resultatindikatorer Indicium i juridik – typ av bevis som indirekt kan bevisa något. Jfr evidens i juridik – bevis bortom rimligt tvivel. Indikator, ett observerbart, indirekt mått som används för att referera till ett något då inget direkt mått finns tillgängligt. Sven-Eric Liedman om mått som äkta kvantiteter och indikatorer som pseudo-kvantiteter En indikator kan aldrig vara ett objektivt mått på kvalitet. Viktigt men svårt (eller omöjligt) med valida indikatorer. Vad ska räknas som kvalitet/resultat? Hur ska egenskaper göras mätbara? Vem ska bestämma det?
Kvalitetsmätandets ideala programteori Förutsättningar Den verksamhet vars kvalitet ska mätas beskrivs. Vilka aspekter som ska mätas bestäms. Valida kvalitetsindikatorer formuleras. Genomförande Kvalitet mäts, registreras och rapporteras. Användning Resultatet av mätningen bearbetas och analyseras. Används som underlag för kontroll och/eller utveckling. Används som underlag för val av utförare Effekter ”What gets measured gets done” Verksamhetens kvalitet ökar Insyn, kontroll och ansvarsutkrävande underlättas Ökat förtroende från medborgare/brukare ”Saving the world….”
Men djävulen döljer sig i detaljerna
Kvalitetsmätandets problematiska programteori Förutsättningar En främmande diskurs, eller inte längre Oklara mål, målträngsel Genomförande Bara det mätbara mäts Osäkra effektmått och samband Skiftande tolkningar och kreativ bokföring Användning Diffus men också betydande användning Perversa biffekter Indikatorfixering Nivellering mot genomsnittet och standardisering Panopticon Avprofessionalisering
Problematiska förutsättningar En främmande ”management-diskurs”, eller inte längre? Att mäta kvalitet hos tjänster är något annat än varor. Bilar av märket Toyota Yaris av en viss årsmodell är identiska, men men inte morgonsamlingar i förskolan eller behandlingar i vården. Tjänster kan inte som varor produceras, kontrolleras, lagras och tas fram när en kund uppenbarar sig. Bilar och andra varor lider inte, känner ingen smärta, mår illa eller känner oro eller ångest. Tjänsters kvalitet påverkas i mycket högre grad än varors av hur man får den, inte bara vad man får.
Oklara mål och målträngsel skapar konstruktionsproblematik I föreskrifter och allmänna råd för systematiskt kvalitetsarbete ses kvalitet som synonymt med måluppfyllelse. Välja aspekter av mål som ska mätas, t.ex. trygghet i äldreomsorg. Teoretiskt definiera trygghet. Finna synliga och mätbara uttryck för trygghet (operationalisera). Bara det mätbara mäts ”Diffusa mål blir inte klarare bara för att de bryts ner” Målträngsel inom de flesta områden, t.ex. i skolan finns 950 mål men det som mäts är betyg, resultat i nationella prov och PISA.
Göteborgs universitets Vision 2020 ”Med kvalitetsdriven forskning, utbildning och samverkan i en inspirerande miljö, uttalat samhällsansvar och globalt engagemang bidrar Göteborgs universitet till en bättre framtid” Varje fakultet och institution ska med utgångspunkt i visionen formulera lokala mål, verksamhetsplaner och handlingsplaner för sitt arbete med forskning, utbildning respektive samverkan. Uppföljning av dessa mål och planer ska vara ett regelmässigt inslag i alla institutioners och fakulteters arbete.
Osäkra effektmått Sällsynt att uppföljnings/kvalitetssystem adresserar effektfrågan. Kausalitet mellan struktur/process- och resultatindikatorer tas för given. Angeläget att kunna dra slutsatser om samband när mätresultat används som grund för verksamhetsutveckling. Problematiskt att hålla någon resultatansvarig, om resultatet beror på faktorer i omvärlden. Öppna jämförelser som till stor del förklaras av befolkningssammansättning. Data hämtas från ett stort antal datakällor, uppbyggda för andra ändamål. SoS hälsodataregister, kvalitetsregister, Vårdbarometern, patientenkät, väntetidsdatabasen, SCB:s ekonomistatistik, SKL:s verksamhetsstatistik.
Skiftande tolkningar och kreativ bokföring Vad är en patient? ÖJ om kokmöjligheter, delaktighet i upprättande av genomförandeplan. För att få betyget A i hem- och konsumentkunskap i åk 9 ska eleven: ”kunna föra välutvecklade och väl underbyggda resonemang kring konsekvenser av olika konsumtionsval och handlingar i hemmet utifrån frågor som rör en hållbar social, ekonomisk och ekologisk utveckling”, Strategiskt beteende, ”gaming” - skolor som väljer bort besvärliga, lågpresterande elever - kirurger (i USA) som undviker att operera högriskpatienter - Zarembas artikelserie i DN 2013.
Diffus men också betydande användning Det är en stor skillnad mellan att ha kvalitetsinformation och faktiskt använda sig av den. Jfr ÖJ som tar användning för given, liksom EBP till en början. Mätandet får lätt karaktären av en procedur eller ritual som görs för att sådant ska göras i en modern effektiv organisation. Men användning triggas av olika sociala mekanismer. High-stake/low-stake , naming and shaming, star-rating. Jfr PISA.
Perversa bieffekter Icke avsedda effekter som är perversa, dvs. rakt motsatta de förväntade. Indikatorfixering, ”teaching to the test”, måtten blir mål Ingen patient behöver vänta mer än två år, men ingen väntar mindre än så. Ambulansköer utanför akuten för att försäkra läkarmöte inom 4 timmar. Lärare inriktar sin undervisning på det som mäts i nationella prov på bekost- nad av ämnesöverskridande studier och ”kreativitet” som inte går att mäta. Nivellering mot genomsnittet Kommuner som tycker det räcker att ha genomsnittlig kvalitet i äldreomsorgen. Standardisering, innovation och kreativitet som hämmas.
Panopticon ”If you know that others are watching your silhouette, then you are highly likely to spend your time watching your shadow” shadow” ”Auditee mentality”, ”Performativity” Verksamheter gör sig granskningsbara.
Avprofessionalisering Organisationsvärden prioriteras när kvalitet styrs utifrån och uppifrån. Professionsvärden tonas ner när kvalitet bygger på fortlöpande intern kontroll och utgår från tillit till den professionella. Det finns en motsats mellan diskretionärt beslutsfattande som utgår från professionsvärden och icke-diskretionärt beslutsfattande som styrs av regler, förordningar – och kvalitetsmått. När kvalitetssystem som utgår från organisationsvärden etableras och används kan professionella reagera med misstro och kanske börja tvivla på sin egen professionalitet. Kvalitetsmått kan m.a.o. hämma professionaliteten i en verksamhet.
Avprofessionalisering, forts ”Till Kerstin Trollhagen, den bästa lärare mina barn Simon och Hannah någonsin kunnat få, för hennes idoga men skeptiska strävanden att dokumentera deras lärande i individuella. Andra duktiga och engagerade lärare på Kålltorpsskolan har med tiden ersatt Kerstin, bl.a. Annika Torarp och Dan-Olof Lindqvist. De tillägnas också denna bok.”
Möjlighet 1: Håll isär granskning för kontroll och verksamhetsutveckling Enligt forskning om granskningars funktioner och dysfunktioner: Granskning (ss i form av mätning) leder till utveckling i ”high-stake” situationer där det finns en tydlig och känd koppling mellan resultat och konsekvenser. De granskade reagerar naturligt med följsamhet till de indikatorer som mäts (”single-loop learning”). Leder till standardisering och att det som mäts blir gjort. Men samtidigt främjas ”performativity” (manualbaserat arbete) och ”double-loop learning” (omprövning, nytänkande) drivs ut.
Möjlighet 2: Tänk efter mera före Policys (reformer, program, metoder) är lösningar på sociala problem som behöver lösas eller förbättras. Ett policyproblem är aldrig entydigt ”as if problems sit outside the policy process, waiting to be addressed and fixed.” Hur ett policyproblem framställs får konsekvenser för hur man ser på dess lösning. Jfr Björklunds skolreformer. Tänk på utvärdering som en möjlig lösning på ett policyproblem. Vad ska utvärderingen lösa? Hur kan utvärderingen lösa policyproblemet? Kan utvärderingen lösa policyproblemet? Om så, hur bör utvärderingen genomföras för att lösa policyproblemet?
Möjlighet 3: Ta bort skiten! ”We must ask ourselves just how much evaluation is necessary to improve the performance of schools and other public services.” ”The dense and aggressive accountability industry has contributed to the erosion of public support for public institutions.” ”Professionalism nedvärderas i den marknadsstyrda staten med sina enorma redovisningskrav.” ” Quality, the most meaningsless and abused word of the past decade.” Även om vi beaktar alla framgångsfaktorer om hur utvärdering bör gå till, så kan vi ändå inte vara säkra på att utvärderandet gör att verk- samheter utvecklas och politiker och ledare fattar bättre beslut.