Att utvärdera nyttan av FoU Ove K. Vestman Presentation vid FoU-Välfärds konferens i Sundsvall 24 – 25 augusti 2011 Utgår från boken Utvärderandets konst (2011) av Ove Karlsson Vestman, Studentlitteratur Ove K. Vestman 2011
Utvärdering är att systematiskt Beskriva bedöma ETT objekt OCH Redovisa RESULTATET Att hantera information enligt vissa principer En explicit metod eller procedur som visar hur man går tillväga i utvärderingen Att följa en arbetsplan med vissa steg i viss ordningsföljd Vilka aspekter, egenskaper hos objektet ska beskrivas? Med vilka metoder samlas data Empirisk analys Vilka förtjänster bedöms? - värde - kvalitet - nytta - effektivitet osv. Mot vilka kriterier / indikationer Normativ analys Policy / riktlinjer Program / verksamhet Process / praktik Produkt / resultat Person / arbetsgrupp Hur? Rapportera Rekommendera Diskutera Fotografera Filma Ställa ut osv. Ove K. Vestman 2011
MÅL RELEVANS PROBLEMET Programteori för utvärdering (EU-modellen) European Commission, (2006): The New Programming Period 2007-2013, Indicative Guidelines on Evaluation Methods. Working Document No. 5, sid 7. MÅL INSATS PROCESS RESULTAT PROBLEM (problemområde) EFFEKT 3 EFFEKT 2 EFFEKT 1 MÅL RELEVANS PROBLEMET PRODUKTIVITET KOSTNADSEFFEKTIVITET KOSTNAD OCH NYTTA MÅLUPPFYLLELSE EFFEKTERNAS RELEVANS FÖR PROBLEMET SAMHÄLLS- NIVÅ INTERVENTIONS - NIVÅ PROCESS UTVÄRDERING UTVÄRDERINGS-NIVÅ Ove K. Vestman 2011
Programteori för FoU Förutsättningar: Uppdraget: Samhälls- nivå Organisa- tionsnivå Uppdraget: Samhällsfrågor och problem att arbeta med i FoU Förutsättningar: Organisation, mål och medel, pengar, personal… Verksam- hetsnivå Idéer/mål Planering av insatser och åtgärder Genomförande Implementering av insatser Resultat Prestationer, produkter och tjänster Effekter På kort , medel och lång sikt Ove K. Vestman 2011
4. Teoriinriktad utvärdering (inklusive metautvärdering) Utvärderingsteori Samhälls- nivå Organisa- tionsnivå Uppdraget: Samhällsfrågor och problem att arbeta med i FoU Förutsättningar: Organisation, mål och medel, pengar, personal… Verksam- hetsnivå Idéer/mål Genomförande Resultat Effekter Utvärderings- nivå Inriktningar för utvärdering 1. Behovsinriktad och belysande 2. Process och deltagarinriktad 3. Resultat och effektinriktad 4. Teoriinriktad utvärdering (inklusive metautvärdering) Ove K. Vestman 2011
Ett mångtydigt begrepp som kan betyda: På spaning efter nytta Ett mångtydigt begrepp som kan betyda: Delaktig Användbart Lärande Hälsosamt Lönande Utvecklande Förbättrande osv… Ove K. Vestman 2011
Översikt - modell för analys av nytta PROCESSEN Produktion Presentation Användning Effekt Nyttogörande Slutanvändning En tjänst/ produkt produceras Tjänsten/ produkten levereras till målgruppen Mottagaren nyttjar tjänsten/ produkten Användningen har effekt – gör nytta Målgruppen (t.ex. personal) har nyttiggjort sig effekten Slutanvändare har fått nytta av tjänsten /produkten NYTTA SOM 1. Delaktighet 2. Tillgänglighet 3. Användbarhet 4. Lärande och utveckling 5. Reflektion 6. Förbättrad situation Inom projekt, nätverk utbildning, forsknings- arbete, samordning Via rapporter, information, konsultation, utbildning, handledning, nätverk Genom att mottagaren kan tillämpa resultat i sin verksamhet Via förändrings- processer, lärande, nya handlings- mönster, organisation Genom omprövning, inspiration, ökat gehör för målgruppens behov. Genom att slutmottagaren fått service, stöd och hjälp som förbättrar situationen Ove K. Vestman 2011
FoU-verksamhetens domäner 1. Politiken och den administrativa ledningens domän Styrning och ledning 4. Andra domäner av betydelse för FoU, exempelvis forskning 5. FoU-miljöns domän Autonomi, samordning Se-Förstå-Handla-Utvärdera 2. Professionernas domän Praxis inom de yrkesområden FoU arbetar för och med 3. Brukarnas domän Deltagare i FoU: organisationer, grupper och enskilda Ove K. Vestman 2011
Bedömningsskala Låg Hög Att bedöma nytta Hur är FoU-miljöns förmåga att erbjuda: Bedömningsskala Låg Hög Medel värde 1 2 3 4 5 1. Nytta som delaktighet. Att ge intressenter möjligheter till delaktighet genom medverkan i projekt, nätverk utbildning, forskningsarbete, samordning 2. Nytta som tillgänglighet. Att erbjuda intressenter tillgänglighet till kunskap via rapporter, information, konsultation, utbildning, handledning, nätverk 3. Nytta som användbarhet och kvalitet. Att försäkra sig om FoU-arbetes användbarhet och kvalitet genom att mottagaren tillämpar resultat i sin verksamhet 4. Nytta som lärande och förändring. Att stimulera till lärande och förändring genom förändringsprocesser med nya rutiner och handlingsmönster, organisation? 5. Nytta som reflektion. Att medverka till att ge deltagare möjligheter till nytänkande genom reflektion och kritisk granskning av sin verksamhet Ove K. Vestman 2011
Att sammanställa resultat Resultatet på frågorna kan t.ex. sammanställas i ett spindeldiagram. Det ger en bild av FoU-miljöns styrkor och svagheter inom området, t ex nytta. Ove K. Vestman 2011
SWOT-analys för FoU-miljöer STYRKOR T.ex. Ett väl utbyggt nätverk, En väl fungerande seminarieverksamhet, Goda kontakter med forskare, Hög kompetensnivå hos den egna personalen. SVAGHETER Osäker finansiering, Bristande kvalitet i den egna rapportproduktionen, Dåligt genomslag på informationsinsatser. MÖJLIGHETER Politiska beslut om regional eller nationell satsning på nya utbildningsinsatser eller forskningsprojekt/ områden som passar FoU-verksamheten. HOT/HINDER Ny konkurrent etablerar sig som erbjuder mer attraktiva tjänster på FoU-miljöns kompetensområde. Nedskärningar i den offentliga budgeten. Ove K. Vestman 2011