Bibliometri som kvalitetsmått Staffan Karlsson Analysenheten, Avdelningen för forskningspolitiska frågor

Vad är bibliometri? En utvärdering av en enhets publicering Antal publikationer Tidskrifternas prestige Citering Normalt används ett antal varianter av dessa samtidigt

Bibliometri är omdiskuterat … Nature Neuroscience vol 1, 1998

… men allt oftare använt

För bibliometrisk analys behövs en publikationsdatabas Thomson Scientific (tillgänglig via Web of Science) +Störst +Väldefinierad –Kommersiell –Innehåller enbart tidskrifter (inga monografier etc) Google scholar +Fri tillgänglighet via internet +Innehåller tidskrifter monografier antologier & proceedings –Dåligt definierad –Saknar möjligheter till systematiska urval

Kritiker har pekat på problem med bibliometriska kvalitetsmått Brister/begränsningar i Thomsons databas Problem med specifika bibliometriska index och hur de tolkas

Thomson databasens täckning Enbart tidskrifter Inom humaniora och samhällsvetenskap sker en viktig del av publiceringen i antologier, monografier och inom teknik i proceedings –Tidskriftsurval: För närvarande täcks nästan tidskrifter Total finns ca vetenskapliga tidskrifter Ca av dessa är referee granskade

Amerikansk-brittiskt fokus Databasens täckning

Felaktigheter i databasen Publikationer, framförallt referenslistor, innehåller många felaktigheter  Thomson Scientific rättar referenslistorna i databasen  De svenska adresserna (på lärosätesnivå) rättas i Vetenskapsrådets databas  Före analyser av individer/grupper verifieras publikationerna mot CVn

För enskilda artiklar är JIF ingen bra citeringsindikator Generell kritik mot bibliometri 1. Användningen av Journal Impact Factors (JIF)

Det finns många skäl att citera en publikation  Alla är inte ”positiva” Generell kritik mot bibliometri 2. Är citering lika med kvalité?

Exempel 1 Lowry 1951, ca citeringar Watson & Crick 1953, ca citeringar Exempel 2 Kall fusion Fleischmann & Pons 1989, >700 citeringar Generell kritik mot bibliometri 2. Är citering lika med kvalité?

Nej, strikt sett anses citering vara ett mått på uppmärksamhet (impact) Dock, det finns många studier som visat att citering ofta är väl korrelerat med kvalité enligt peer review-bedömningar Generell kritik mot bibliometri 2. Är citering lika med kvalité?

Bibliometri Peer review Flera av problemen med bibliometriska analyser är skalberoende Små enheter kräver större försiktighet än större

De som utvärderas kan anpassa sig till utvärderingsmetoderna Användningen av bibliometri påverkar forskarnas publiceringsmönster och vanor - Sammansatta (bibliometriska) index är bättre än enkla (som volym eller JIF)

Exempel på användning av bibliometri - ofta i kombination med andra parametrar Storskaliga analyser –National Science Board (USA) sedan 1972 Institutioner / Lärosäten –Nederländerna sedan 1992 –Norge sedan 1980-talet –Storbritannien på väg att ersätta RAE med ”metrics” Individer/forskargrupper –Som komplement till peer review

Sammanfattning Formella bibliometriska analyser används i ökande omfattning Resultaten är mer svårtolkade för små enheter än för större − Bedömningar av individer och forskargrupper kan inte baseras på enbart bibliometri Mer problematiskt att använda inom humaniora och samhällsvetenskap än inom övriga områden