Att utvärdera nyttan av FoU

En presentation över ämnet: "Att utvärdera nyttan av FoU"— Presentationens avskrift:

1 Att utvärdera nyttan av FoU
Ove K. Vestman Presentation vid FoU-Välfärds konferens i Sundsvall 24 – 25 augusti 2011 Utgår från boken Utvärderandets konst (2011) av Ove Karlsson Vestman, Studentlitteratur Ove K. Vestman 2011

2 Utvärdering är att systematiskt Beskriva bedöma ETT objekt
OCH Redovisa RESULTATET Att hantera information enligt vissa principer En explicit metod eller procedur som visar hur man går tillväga i utvärderingen Att följa en arbetsplan med vissa steg i viss ordningsföljd Vilka aspekter, egenskaper hos objektet ska beskrivas? Med vilka metoder samlas data Empirisk analys Vilka förtjänster bedöms? - värde - kvalitet - nytta - effektivitet osv. Mot vilka kriterier / indikationer Normativ analys Policy / riktlinjer Program / verksamhet Process / praktik Produkt / resultat Person / arbetsgrupp Hur? Rapportera Rekommendera Diskutera Fotografera Filma Ställa ut  osv. Ove K. Vestman 2011

3 MÅL RELEVANS PROBLEMET
Programteori för utvärdering (EU-modellen) European Commission, (2006): The New Programming Period , Indicative Guidelines on Evaluation Methods. Working Document No. 5, sid 7. MÅL INSATS PROCESS RESULTAT PROBLEM (problemområde) EFFEKT 3 EFFEKT 2 EFFEKT 1 MÅL RELEVANS PROBLEMET PRODUKTIVITET KOSTNADSEFFEKTIVITET KOSTNAD OCH NYTTA MÅLUPPFYLLELSE EFFEKTERNAS RELEVANS FÖR PROBLEMET SAMHÄLLS- NIVÅ INTERVENTIONS - NIVÅ PROCESS UTVÄRDERING UTVÄRDERINGS-NIVÅ Ove K. Vestman 2011

4 Programteori för FoU Förutsättningar: Uppdraget:
Samhälls- nivå Organisa- tionsnivå Uppdraget: Samhällsfrågor och problem att arbeta med i FoU Förutsättningar: Organisation, mål och medel, pengar, personal… Verksam- hetsnivå Idéer/mål Planering av insatser och åtgärder Genomförande Implementering av insatser Resultat Prestationer, produkter och tjänster Effekter På kort , medel och lång sikt Ove K. Vestman 2011

5 4. Teoriinriktad utvärdering (inklusive metautvärdering)
Utvärderingsteori Samhälls- nivå Organisa- tionsnivå Uppdraget: Samhällsfrågor och problem att arbeta med i FoU Förutsättningar: Organisation, mål och medel, pengar, personal… Verksam- hetsnivå Idéer/mål Genomförande Resultat Effekter Utvärderings- nivå Inriktningar för utvärdering 1. Behovsinriktad och belysande 2. Process och deltagarinriktad 3. Resultat och effektinriktad 4. Teoriinriktad utvärdering (inklusive metautvärdering) Ove K. Vestman 2011

6 Ett mångtydigt begrepp som kan betyda:
På spaning efter nytta Ett mångtydigt begrepp som kan betyda: Delaktig Användbart Lärande Hälsosamt Lönande Utvecklande Förbättrande osv… Ove K. Vestman 2011

7 Översikt - modell för analys av nytta
PROCESSEN Produktion Presentation Användning Effekt Nyttogörande Slutanvändning En tjänst/ produkt produceras Tjänsten/ produkten levereras till målgruppen Mottagaren nyttjar tjänsten/ produkten Användningen har effekt – gör nytta Målgruppen (t.ex. personal) har nyttiggjort sig effekten Slutanvändare har fått nytta av tjänsten /produkten NYTTA SOM Delaktighet 2. Tillgänglighet 3. Användbarhet Lärande och utveckling Reflektion Förbättrad situation Inom projekt, nätverk utbildning, forsknings- arbete, samordning Via rapporter, information, konsultation, utbildning, handledning, nätverk Genom att mottagaren kan tillämpa resultat i sin verksamhet Via förändrings- processer, lärande, nya handlings- mönster, organisation Genom omprövning, inspiration, ökat gehör för målgruppens behov. Genom att slutmottagaren fått service, stöd och hjälp som förbättrar situationen Ove K. Vestman 2011

8 FoU-verksamhetens domäner
1. Politiken och den administrativa ledningens domän Styrning och ledning 4. Andra domäner av betydelse för FoU, exempelvis forskning 5. FoU-miljöns domän Autonomi, samordning Se-Förstå-Handla-Utvärdera 2. Professionernas domän Praxis inom de yrkesområden FoU arbetar för och med 3. Brukarnas domän Deltagare i FoU: organisationer, grupper och enskilda Ove K. Vestman 2011

9 Bedömningsskala Låg Hög
Att bedöma nytta Hur är FoU-miljöns förmåga att erbjuda: Bedömningsskala Låg Hög Medel värde 1 2 3 4 5 1. Nytta som delaktighet. Att ge intressenter möjligheter till delaktighet genom medverkan i projekt, nätverk utbildning, forskningsarbete, samordning 2. Nytta som tillgänglighet. Att erbjuda intressenter tillgänglighet till kunskap via rapporter, information, konsultation, utbildning, handledning, nätverk 3. Nytta som användbarhet och kvalitet. Att försäkra sig om FoU-arbetes användbarhet och kvalitet genom att mottagaren tillämpar resultat i sin verksamhet 4. Nytta som lärande och förändring. Att stimulera till lärande och förändring genom förändringsprocesser med nya rutiner och handlingsmönster, organisation? 5. Nytta som reflektion. Att medverka till att ge deltagare möjligheter till nytänkande genom reflektion och kritisk granskning av sin verksamhet Ove K. Vestman 2011

10 Att sammanställa resultat
Resultatet på frågorna kan t.ex. sammanställas i ett spindeldiagram. Det ger en bild av FoU-miljöns styrkor och svagheter inom området, t ex nytta. Ove K. Vestman 2011

11 SWOT-analys för FoU-miljöer
STYRKOR T.ex. Ett väl utbyggt nätverk, En väl fungerande seminarieverksamhet, Goda kontakter med forskare, Hög kompetensnivå hos den egna personalen. SVAGHETER Osäker finansiering, Bristande kvalitet i den egna rapportproduktionen, Dåligt genomslag på informationsinsatser. MÖJLIGHETER Politiska beslut om regional eller nationell satsning på nya utbildningsinsatser eller forsknings­projekt/ områden som passar FoU-verksamheten. HOT/HINDER Ny konkurrent etablerar sig som erbjuder mer attraktiva tjänster på FoU-miljöns kompetensområde. Nedskärningar i den offentliga budgeten. Ove K. Vestman 2011