Gustaf Nelhans Filosofi, lingvistik och vetenskapsteori GU Presenterad vid Teknik och vetenskapshistoriska dagarna, Göteborg 2010-11-11 Att mäta (human)vetenskap: publicerings- och citeringsanalys i vetenskapsteoretiskt ljus. Gustaf Nelhans Filosofi, lingvistik och vetenskapsteori GU Upphovsrättskyddat material. Citera gärna, om källan anges. Upphovsrättskyddat material. Citera gärna, om källan anges.

Upphovsrättskyddat material. Citera gärna, om källan anges. Upplägg Citeringen ”guldstandard” eller förhatlig indikator? Syften och effekter av bibliometri i resursfördelningssystemet kvalitet eller incitament? Bibliometriska modeller för resursfördelning Evidensbaserad rörelse? Upphovsrättskyddat material. Citera gärna, om källan anges.

Upphovsrättskyddat material. Citera gärna, om källan anges.

Citeringen som kvalitetsmått Eugene Garfield: One purpose of this communication is to record my forewarning concerning the possible promiscuous and careless use of quantitative citation data for sociological evaluations, including personel and fellowship selection (Garfield, 1963). Vidare: ”Impact is not the same as importance or significance” (Garfield, 1963) Garfield, E. 1963. Citation Indexes in Sociological and Historical Research. American Documentation 14:289-91. Upphovsrättskyddat material. Citera gärna, om källan anges. Upphovsrättskyddat material. Citera gärna, om källan anges.

Citeringen som kvalitetsmått Tidskrifter: Dock menade Garfield att SCI kunde brukas för evaluering av tidskrifter: Journal Impact Factor Beräknas genom att dividera antalet erhållna citeringar med antal publicerade artiklar under en viss tidsperiod. Garfield, E. 1972. Citation analysis as a tool in journal evaluation. Science 178:471-79 Upphovsrättskyddat material. Citera gärna, om källan anges. Upphovsrättskyddat material. Citera gärna, om källan anges.

Citeringsanalysens problematik Teoretiska överväganden Metodologiska överväganden Praktiska överväganden Upphovsrättskyddat material. Citera gärna, om källan anges. Upphovsrättskyddat material. Citera gärna, om källan anges.

Citering som prestation Traditionellt: Citering som ”belöning”, citeringsindexet som representation av publiceringsmönster Förslag: Citering som ”prestation” Citeringsindexet som performativ arena (för publikationer) Författare positionerar sig genom val av tidskrifter/fält Upphovsrättskyddat material. Citera gärna, om källan anges. Upphovsrättskyddat material. Citera gärna, om källan anges.

Upphovsrättskyddat material. Citera gärna, om källan anges. Resursfördelning Regeringens proposition 2008/09:50 Ett lyft för forskning och innovation: 10 % av forskningsmedlen till lärosätena omfördelas ”i konkurrens och tilldelas utifrån respektive lärosätes resultat mätt med indikatorerna externa medel och vetenskaplig produktion [och citeringar]”. Upphovsrättskyddat material. Citera gärna, om källan anges. Upphovsrättskyddat material. Citera gärna, om källan anges.

Alternativa resursfördelningssystem Australien: tidigare endast ISI-publikationer Storbritannien: RAE, panelbaserad granskning. Från 2014: REF Norge, system baserat på kanal och kvalitet (impact factor, internationalitet) Sverige Fältfaktor samt Waringmetod Upphovsrättskyddat material. Citera gärna, om källan anges.

Det svenska resursfördelningssystemet Publikationsmått: Waringmetod Citeringsmått: Fältnormalisering Bibliometriskt index= Waringfördelade publikationer * Fältnormaliserade citeringar Data hämtade ut Thomson Reuters Web of Science Upphovsrättskyddat material. Citera gärna, om källan anges. Upphovsrättskyddat material. Citera gärna, om källan anges.

Upphovsrättskyddat material. Citera gärna, om källan anges. Humaniora Hur faller Humaniora ut i regeringens modell? Publikationsmått går att beräkna. Citeringsmått går inte att beräkna. Lösning: all humaniora får fältnormerad citeringsgrad = 1,0 (genomsnitt för fältet). Regeringen inför en egen viktning utöver denna arbiträra Upphovsrättskyddat material. Citera gärna, om källan anges. Upphovsrättskyddat material. Citera gärna, om källan anges.

Regeringens ”egen” viktning Vetenskapsområde Vikt Medicin och teknik 1 Naturvetenskap 1,5 Humaniora och samhällsvetenskap 2 Övriga områden 1,1 Prop. 2008/09:50. 2008. Ett lyft för forskning och innovation. edited by Utbildningsdepartementet. Stockholm. Upphovsrättskyddat material. Citera gärna, om källan anges. Upphovsrättskyddat material. Citera gärna, om källan anges.

Upphovsrättskyddat material. Citera gärna, om källan anges. Motiv till viktning ”-Vi har gjort en hel del körningar när det gäller vilka effekter olika varianter av anslagssystem skulle ge. /…/ - Jag kan bara säga att ett stort problem för mig var att detta system rent och naket skulle slå negativt mot humaniora och samhällsvetenskap. Vi införde denna fördubblingsfaktor för att se till att ha en kupa, en skyddande hand, inte minst över humaniora. - Vi får väl se hur det blir. Vår bedömning är att denna multiplikator 2 är tillräcklig för att skydda humaniora. Jag kan inte garantera att det är så. Naturligtvis får vi följa det. Men jag tror att det kommer att vara positivt.” - (Applåder)  Lars Leijonborg, utdrag ur riksdagsdebatten inför omröstning om proposition 2008/09:50, Internet: http://www.riksdagen.se/webbnav/index.aspx?nid=101&bet=2008/09:64 (hämtad 2010-10-14) en kupa, en skyddande hand, inte minst över humaniora. Upphovsrättskyddat material. Citera gärna, om källan anges. Upphovsrättskyddat material. Citera gärna, om källan anges.

Humanioras problem (i citeringskulturen) Annorlunda publiceringstradition Böcker, snarare än ISI-indexerade tidskriftsartiklar Ofta på modersmålet Andra kategorier Hum:s tidskriftsartiklar ofta av kategori som inte värderas i bibliometriska system T ex book review Samtidigt, prestationsbaserad tilldelning presenteras som ett incitament för forskningen. Upphovsrättskyddat material. Citera gärna, om källan anges. Upphovsrättskyddat material. Citera gärna, om källan anges.

Upphovsrättskyddat material. Citera gärna, om källan anges. Framtiden Såväl förespråkare som kritiker efterlyser prestationsbedömningar av svensk forskning som innefattar multipla indikatorer. Transparens Dessa kan utgöras av allt från panelgranskningar och mått på olika slag av outcomes till publikations- och citeringsmått. Sådana mått bör valideras mot varandra, för att man bättre skall kunna förstå hur resultaten av olika mått relaterar till varandra. Anders Flodström (tidigare universitetskansler), har fått regeringens uppdrag att utreda hur resursfördelning skall kunna bygga på utvärderingar. "Anders Flodström har erbjudits och tackat ja till ett utredningsuppdrag inom Utbildningsdepartementet. Han ska på halvtid utreda hur kvalitetsbaserad resursfördelning av forskningsmedel till universitet och högskolor ska kunna bygga på utvärderingar. Den utredningen aviserades i forsknings- och innovationspropositionen 2008.” Ur: Pressmeddelande 8 juni 2010 Upphovsrättskyddat material. Citera gärna, om källan anges. Upphovsrättskyddat material. Citera gärna, om källan anges.

Evidensbaserad bibliometri? Vad kan göras till indikatorer på vetenskaplig prestation? Outputs publikationer, patent, PhD:s, Nobelpris … Impact citeringsmått Outcomes Bidrag till samhället Avknoppning av företag Förändrade praktiker Intellektuell stimulans (humaniora!) Förståelse Reflektion (Hur) kan dessa värdesättas i kvantitativa mått? Upphovsrättskyddat material. Citera gärna, om källan anges. Upphovsrättskyddat material. Citera gärna, om källan anges.

Upphovsrättskyddat material. Citera gärna, om källan anges. Tack! g u s t a f . n e l h a n s @ t h e o r y s c . g u . s e http://www.flov.gu.se/om/personal/gustaf-nelhans/ Upphovsrättskyddat material. Citera gärna, om källan anges.