Bibliometri som kvalitetsmått Staffan Karlsson Analysenheten, Avdelningen för forskningspolitiska frågor.

En presentation över ämnet: "Bibliometri som kvalitetsmått Staffan Karlsson Analysenheten, Avdelningen för forskningspolitiska frågor."— Presentationens avskrift:

1 Bibliometri som kvalitetsmått Staffan Karlsson Analysenheten, Avdelningen för forskningspolitiska frågor

2 Vad är bibliometri? En utvärdering av en enhets publicering Antal publikationer Tidskrifternas prestige Citering Normalt används ett antal varianter av dessa samtidigt

3 Bibliometri är omdiskuterat … Nature Neuroscience vol 1, 1998

4 … men allt oftare använt

5 För bibliometrisk analys behövs en publikationsdatabas Thomson Scientific (tillgänglig via Web of Science) +Störst +Väldefinierad –Kommersiell –Innehåller enbart tidskrifter (inga monografier etc) Google scholar +Fri tillgänglighet via internet +Innehåller tidskrifter monografier antologier & proceedings –Dåligt definierad –Saknar möjligheter till systematiska urval

6 Kritiker har pekat på problem med bibliometriska kvalitetsmått Brister/begränsningar i Thomsons databas Problem med specifika bibliometriska index och hur de tolkas

7 Thomson databasens täckning Enbart tidskrifter Inom humaniora och samhällsvetenskap sker en viktig del av publiceringen i antologier, monografier och inom teknik i proceedings –Tidskriftsurval: För närvarande täcks nästan 10 000 tidskrifter Total finns ca 30 000 vetenskapliga tidskrifter Ca 16 000 av dessa är referee granskade

8 Amerikansk-brittiskt fokus Databasens täckning

9 Felaktigheter i databasen Publikationer, framförallt referenslistor, innehåller många felaktigheter  Thomson Scientific rättar referenslistorna i databasen  De svenska adresserna (på lärosätesnivå) rättas i Vetenskapsrådets databas  Före analyser av individer/grupper verifieras publikationerna mot CVn

10 För enskilda artiklar är JIF ingen bra citeringsindikator Generell kritik mot bibliometri 1. Användningen av Journal Impact Factors (JIF)

11 Det finns många skäl att citera en publikation  Alla är inte ”positiva” Generell kritik mot bibliometri 2. Är citering lika med kvalité?

12 Exempel 1 Lowry 1951, ca 250 000 citeringar Watson & Crick 1953, ca 2 400 citeringar Exempel 2 Kall fusion Fleischmann & Pons 1989, >700 citeringar Generell kritik mot bibliometri 2. Är citering lika med kvalité?

13 Nej, strikt sett anses citering vara ett mått på uppmärksamhet (impact) Dock, det finns många studier som visat att citering ofta är väl korrelerat med kvalité enligt peer review-bedömningar Generell kritik mot bibliometri 2. Är citering lika med kvalité?

14 Bibliometri Peer review Flera av problemen med bibliometriska analyser är skalberoende Små enheter kräver större försiktighet än större

15 De som utvärderas kan anpassa sig till utvärderingsmetoderna Användningen av bibliometri påverkar forskarnas publiceringsmönster och vanor - Sammansatta (bibliometriska) index är bättre än enkla (som volym eller JIF)

16 Exempel på användning av bibliometri - ofta i kombination med andra parametrar Storskaliga analyser –National Science Board (USA) sedan 1972 Institutioner / Lärosäten –Nederländerna sedan 1992 –Norge sedan 1980-talet –Storbritannien på väg att ersätta RAE med ”metrics” Individer/forskargrupper –Som komplement till peer review

17 Sammanfattning Formella bibliometriska analyser används i ökande omfattning Resultaten är mer svårtolkade för små enheter än för större − Bedömningar av individer och forskargrupper kan inte baseras på enbart bibliometri Mer problematiskt att använda inom humaniora och samhällsvetenskap än inom övriga områden