När man måste mäta den omätbara kvaliteten, hur gör man då? Lena Lindgren Förvaltningshögskolan, Göteborgs universitet

Dagordning Utvärderingsmonstret är här! Hur märks det? Mysteriet med utvärderingsmonstret: ”Saving the World, or Paving the Road to Hell?” Hur ska vi handskas med monstret? Största möjliga hänsyn och anpassning, eller bättre kunskap och kritiskt förhållningssätt? Exempel från Folkbildningsrådets arbete med kvalitetsindikatorer.

Hur märks utvärderingens institutionalisering? Lagar, regler och praxis med krav på resultatorientering. Krav på evidensbaserad praktik och policy. EU-projekt kräver utvärdering i alla led. Utvärderingsenheter inom myndigheter. Utvärderingsorgan inom sektorer. Tillsynsfunktionen ökar och skärps. Akademisk diskurs, föreningar och nätverk. Utvärdering – en ny profession? ”Master of Program Evaluation” Ramböll, Faugert & Co, Eurofutures, AB Konkludo

…..i skolan Skolplan ska finnas i alla kommuner Lokal arbetsplan för alla skolor Kvalitetsredovisning i varje skola och kommun Allmänna råd för kvalitetsindikatorer 500 variabler till SCB Många kommuner har egna kvalitetssystem Kvalitetsindikatorer som byggs in i kontrakt Skolinspektionen Individuella utvecklingsplaner ????

Mysteriet med utvärderingsmonstret Information utan tydlig användning samlas in och rapporteras ritualmässigt. Hur utvärdering ska användas för utveckling och styrning, hur det faktiskt går till och vilken nytta den har förblir oklart. Utvärdering har inte bevisat sin egen affärsidé. Utvärdering - ’protected discourse”. ”The performance paradox”.

Från utvärdering till uppföljning och kvalitetsindikatorer Utvärdering skedde tidigare vid enstaka tillfällen, inför avgörande politiska beslut och utfördes som regel av externa experter. Idag har utvärdering allt mer blivit en regelbundet återkommande, intern aktivitet som utförs av tjänstemän inom berörda myndigheter. Hårda uppföljningssystem allt vanligare med föreskrivna nyckeltal och kvalitetsindikatorer som definierar vad som är viktigt att mäta.

Performance measures – kvalitetsindikatorer på svenska Mått/indikatorer på en verksamhets resultat (prestationer och/eller effekter) - resultatmått med andra ord. Svensk förvaltningsprosa - kvalitet och kvalitetsindikatorer. Kvalitet kan mätas i alla led i en verksamhet (förutsättningar, processer, prestationer och effekter). Det finns ingen bra översättning - KRM.

Kvalitet - ett begrepp vi inte verkar kunna få nog av Socialt arbete, skola, högskola, hälso- och sjukvård, FK, folkbildning……. Kvalitet – önskvärda egenskaper hos en produkt eller tjänst. Kan avse alla led i verksamheten, men stark resultatorientering. Kvalitetsindikatorer - operationella definitioner som indirekt visar på förekomst eller tillstånd av önskvärda egenskaper. ”Något smått som representerar något stort”.

Men vad är egentligen kvalitet? ”När jag läser en dikt och håret reser sig på mitt huvud, då vet jag att den dikten är bra” (E Dickinson) Antal inslag/cm eller att tyget känns behagligt mot huden? (L Lindgren) ”Varför har man i så hög grad börjat använda sig av ordet kvalitet? Varför inte helt enkelt säga att något är bra? …en rörelse mot ökade anspråk på objektivitet” (B Brulde) ”..menar man verkligen att den service man erbjuder har kvalitet därför att kunderna är nöjda?” (Brulde igen) Vad händer med det omätbara? (L Lindgren)

Metautvärdering utvärdering av utvärderingar För att skapa översikt över kunskap och sammanställa resultat För att bedöma utvärderingars kvalitet För att undersöka utvärderingars funktion och användning För att uppskatta utvärderingars nytta Metaanalyser och kunskapsöversikter Evidensrörelsens bidrag

Programteori – utvärderingens nyckelinstrument Uppfattningarna av vad man vill uppnå med de åtgärder som vidtas, samt hur man tänker sig att med hjälp av åtgärderna kunna förverkliga detta. Hjälper oss skapa överblick och förståelse för något som ska utvärderas, eller när ett kvalitetssystem ska etableras/förbättras. Också användbart i viktiga privata sammanhang…..

En generell programteori Förutsättningar Allt som ”går in” i en verksamhet.  Processer Vad som görs för att åtgärda ett  givet problem. R E Prestationer De direkta produkterna S  processerna. U L Effekter Den skillnad som processer/ T prestationer gör för ett mål- A objekt. T

Kvalitetsmätandets ideala programteori Förutsättningar Mål och delmål formuleras i valida och mätbara termer. Kvalitet mäts, registreras och rapporteras. Användning Verksamhetsutveckling, politisk kontroll och styrning. Effekter Ökad inre/yttre effektivitet Ansvarsutkrävande underlättas. Ökat förtroende från medborgare, legitimitet. Ökad välfärd, tillväxt, hållbar utveckling….. ”Saving the world…”

Kvalitetsmätandets problematiska programteori Förutsättningar Främmande diskurs OSMARTA mål och målträngsel Genomförande- och användningsproblem Bara det mätbara mäts Osäkra effektmått Skiftande tolkningar och kreativ bokföring Oklar användning Perversa bieffekter "Teaching to the test“ Måtten blir mål Innovation motverkas, verksamheter förstelnas Avprofessionalisering "Panopticon” Minskad total effektivitet ”Paving the road to hell”

”If you know that others are constantly watching your silhouette, then you are highly likely to spend your time watching your shadow” (Roy Batterham 1994)

Problemens lösningar, enligt förespråkarna Problemen beror på konstruktions- och användningsfel Skapa konsensus kring mål och mått Utveckla mått med hjälp av programteori Försäkra sig om hög validitet i förhållande till mål som mäts Klart och entydigt formulerade mått Mått som täcker in olika intressenters perspektiv Få mått som täcker in nyckelaspekter av målen Begränsa användningen, kvalitetsmätning får inte vara ett substitut för gott omdöme Användningen av kvalitetsmått bör vara känd för alla medarbetare så att ingen osäkerhet finns.

Problemens lösningar, enligt kritikerna Problemen är systemiska, de är inneboende i själva mätandet. De perversa bieffekter som kvalitetsmätandet producerar är normala mänskliga beteenden och reaktioner på den övervakning som mätandet innebär. Sluta mata utvärderingsmonstret. Se i alla fall över dess diet. Öka kunskapen om kvalitetsmätandets effekter och nytta.

Bättre kunskap och kritiskt förhållningssätt Litteraturen tycks oändlig, nya referenser utan koppling till varandra dyker ständigt upp. Identisk debatt och terminologi i flera vetenskapliga fora. Studier som refereras består mest av teoretiska resonemang. En vag antydan om någontings förekomst blir till en allmänt känd sanning (ex Merton 1938, ’kontrol nye tsifry’, Smith 1993). Idé – använda kvalitetsmätandets programteori som en preli- minär teori och pröva dess antaganden om orsak och verkan i mer robusta empiriska studier.

Steg för att utveckla en programteori ”De ansvarigas uppfattning om vad man ville uppnå med de åtgärder som vidtas samt hur man tänker sig att med hjälp av åtgärderna kunna förverkliga dessa.” Samla relevant information. Fråga, diskutera, läs. Definiera det problem som programmet ska lösa. Vad ligger bakom behovet av ett program? Hur långt sträcker sig rimligen dess ansvar? Beskriv programmets element i programteorietiska termer. Kolla att logiken stämmer. Hur kom vi hit, varför arbetar vi på det här sättet? Verifiera programteorin. Om, så och så......därför att. Pröva programteorins underliggande antaganden om orsak och verkan.

Programteori för uppbyggnad och/eller utveckling av kvalitetssystem Kvalitetsegenskaper Indikatorer Dataunderlag Förutsättningar  Processer Prestationer Effekter Operationella indikatorer som är meningsfulla och praktiskt möjliga att använda som tecken på förekomst eller tillstånd av kvalitet. Empiriskt dataunderlag som behöver samlas in för att kunna registrera och (be-)visa förekomst eller tillstånd av kvalitet.

En programteori för folkbildningen Verksamhetsled Kvalitetsegenskaper Indikatorer Förutsättningar Folkbildningskompetens Lokal närvaro Profilering Processer Interndemokrati Prestationer Verksamhetens form o innehåll 30 olika variabler Deltagar- Deltagaren som individ Variabler hämtade ur Effekter Deltagaren som medborgare valideringsrapport Samhällseffekter Folkbildningens ansvar?

Men…….. Att utveckla kvalitetsindikatorer är en sak, att använda dem i praktisk verksamhet är en helt annan sak. Verksamhetsutveckling (egna behov, egna mål, god utveckling, bra process) Styrning och kontroll (enhetlighet, jämförbarhet, god kontroll, bra produkt). Kvalitetsindikatorer är sämre än ingenting om de inte kommer till användning, eftersom de tar tid och pengar från andra aktiviteter.