Om attribuering och kontribuering i användning av utvärderingar SVUF oktober 2015 Sten Söderberg, Vetenskapsrådet
Syfte och utgångspunkter Teoretiskt perspektiv: Lyfta samman diskursen om användning av utvärderingar med utvärderingsdiskursen om attribuering och kontribuering Empiriskt perspektiv: Utgångspunkt i två fallstudier - Utvärdering av svensk matematikforskning Utvärdering av svensk forskning i teknisk mekanik (Mechanical Engineering) 2012/13
Kontext Science Europe; europeisk jämförande analys VR:s utvärderingsfunktion => tillgång till empiriskt material (utvärderingar) och erfarenhet/informanter Fallstudiemetodik Krav på data: - Senaste tioårsperioden - Tillgänglig, publicerad rapport, engelska - Djupintervjuer med minst två, gärna fler, informanter
Begrepp/teori Användning (”evaluation use”): Vedung, FtEval Additionalitet Attribuering och kontribuering
Matematik Konventionell områdesutvärdering med peer review (ämnessakkunniga) Omfattande rekommendationer på strukturell/nationell nivå Omfattande effekter: ”Matematiksatsning” på 500 MSEK Användning: - Instrumentell, informativ, legitimerande användning - Ej lärande, ej taktisk, ej rituell (?) användning
Teknisk mekanik Konventionell områdesutvärdering med peer review (ämnessakkunniga) Blygsamma och mycket kortfattade rekommendationer på strukturell/nationell nivå Små el. obefintliga ”synliga” effekter….. …men kan ha förhindrat eventuell budgetnedskärning Användning: - Instrumentell ((?) men osynlig), informativ, lärande, rituell användning - Ej legitimerande, ej taktisk användning
Prel. slutsatser (1) Nyanserad syn på användning => kontribuering snarare än attribuering Rigorös metodik ej avgörande Beslut om att utvärdera kan i sig innebära uppmärksamhet Flera uppdragsgivare ökar sannolikheten för användning
Prel. slutsatser (2) Upplevd och reell kunskapsbrist (”länge sen sist”) Timing och kontext Omfattning och detaljeringsnivå i rekommendationer En icke-användning kan också vara en användning; En icke använd utvärdering är också en utvärdering