Bibliometri för utvärdering av forskning – publikationer som prestationsmätare och kvalitetsmått Ulf Kronman School of Education and Communication in Engineering Science KTH Royal Institute of Technology / Kungliga Tekniska Högskolan Karolinska Institutets bibliotek 2011-11-09

Seminariets delar Kort grundkurs i bibliometri Datakällor, metoder och indikatorer Mäter bibliometri forskningskvalitet? Kritisk granskning Bibliometri och forskningspolitik Bibliometri som nyckeltal och incitament Bibliometrins inverkan på forskningssystemet Går från mer föreläsande delar till mer diskussion på slutet Fråga gärna!

Grundkurs i bibliometri

Bibliometri = statistiska analyser av publikationer Produktion – publikationer Hur många, per år, per forskare, per krona? Vilka typer av publikationer? Genomslag – citeringar Blir publikationerna lästa och gör intryck? Samverkan – nätverk Samförfattande, ämnesrelationer och citeringsrelationer Dynamik Hur förändras ovanstående indikatorer över tiden? Hårda endimensionella indikatorer: antal publiceringar och citeringar Mjuka flerdimensionella indikatorer: sampublicering, cocitering och ämnessamband Enkelt i teorin – komplicerat i praktiken Varför bibliometrihausse för forskningen: Publikationer och citeringar två av de få mätbara resultaten av grundforskning British Standard Glossary of Documentations of Terms: Tillämpningen av matematiska och statistiska metoder i studiet av publikationsmönster och hur dokument används Wikipedia: Statistiska analyser av publikationer Hur många – per år, per forskare, per krona, … Vilka typer – artiklar, konferensrapporter, avhandlingar, rapporter, böcker, … Hur många – per enhet, forskare, publikation, år, krona, … Samförfattande – vilka skriver tillsammans? Cocitering – vilka citeras av samma verk? Bibliografisk relation – vilka refererar till samma verk? Vilka ämnen behandlas i samma verk, resp. citerar varandra?

Datakällor för bibliometri Thomson Reuters Web of Science 11 500 tidskriftstitlar – från 1960-talet (ISI) Elsevier Scopus 17 000 tidskrifter och konferensserier – från 1996 Google Scholar Samlar in "allt på nätet" Även doktorsavhandlingar och rapporter Egen publikationsdatabas, DiVA & SwePub Bättre täckning – fler dokumenttyper Verifierade data – forskare och institution Inga citeringsdata – ingen världsdata Specialdatabaser – ArXiv, SPIRS, Chemical Abstracts

Olika forskningsfält – olika förutsättningar Skiftande publiceringskulturer Olika publikationstyper Varierande publiceringsfrekvens Olika citeringsmönster Olika täckningsgrad i datakällorna Medicin och naturvetenskap täcks bra Internationella tidskriftsartiklar Teknik täcks halvbra Tidskriftsartiklar, konferenser, rapporter Samhällsvetenskap och humaniora täcks dåligt Nationella tidskriftsartiklar, böcker, antologier

Olika områdens synlighet i Thomson ISI Tidskriftsartiklar Konferenstryck Rapporter Böcker I Norge har man byggt en databas som innehåller både självregistrerat material och material från Thomson Därför kan de se hur mycket som kommer från Thomson och hur mycket man behöver registrera manuellt Databasleverantörerna indexerar främst det material som är lättast att samla in – artiklar in engelskspråkiga tidskrifter Dataunderlag från norska Database for statistikk om høgre utdanning (DBH)

Citeringsbaserad bibliometri Bygger på antagandet att en citering speglar en publikations genomslag i forskningssamfundet B Citerande/refererande Citerad Referens Citering C Citerande/refererande Referens Citering Antagandet fungerar bäst för naturvetenskap, medicin och teknik som är kumulativa Fungerar sämre för samhällsvetenskap och humaniora som är mer resonerande A

Citeringar – ojämnt fördelade http://www.syque.com/quality_tools/toolbook/Variation/measuring_spread.htm Den skeva fördelningen är ett problem när vi sysslar med statistik http://www.syque.com/quality_tools/toolbook/Variation/measuring_spread.htm

Citeringar i relation till publikationstyp och ålder

Citeringar i relation till ämne och ålder

Fältnormerad citeringsgrad Publiceringsår Fler citeringar ju fler år sedan publicering Dokumenttyp Översiktsartiklar får 2,5 gånger fler citeringar än originalartiklar Forskningsfält Cellbiologi 10 gånger fler citeringar än matematik Normering jämför lika med lika Samma år, dokumenttyp och forskningsfält Normerat världsmedelvärde = 1 Mer än 1 = större genomslag än världsgenomsnittet Vassaste vapnet i kampen om pengarna Crown, FCS, FCR

Bibliometriska indikatorer – exempel Antal publikationer (P) Ämnesområden, trender, samförfattande Citeringar (C) Fältnormerade (cf) Tidskriftsnormerade (cj) Tidskrifter Thomsons Journal Impact Factor (JIF) Tidskriftens citeringsgrad normerad mot fält (jf) h-index h antal publikationer citerade minst h gånger h-index – populär "vulgärindikator" Lätt att förstå, lätt att räkna ut Ej justerad för tid eller fält

Visualiseringar av bibliometriska relationer

Mäter bibliometri forskningskvalitet? - en kritisk granskning

Citeringarna är inte normalfördelade http://www.syque.com/quality_tools/toolbook/Variation/measuring_spread.htm

Inneboende variabilitet i datamaterialet Gränsdragningar i datamängden skapar brus Konstruerade gränser mellan publiceringsår, tidskrifter, ämnesområden – och även organisationer Forskarnas publicering och citering uppvisar en viss bibliometrisk "godtycklighet" på mikronivån Var publicerar de sig och varför? Vad/vem citerar de och varför? Vilka får vara med i författarlistan (och hur sorteras den)? Indata är komplext och genererar slumpmässiga variationer i citeringsdata Över hälften av citeringarna leder till publikationer utanför Thomsons index Thomson missar runt 6% av citeringarna inom sitt system Acta Obscura Exotica Runt 1% av artikelposterna i Thomson innehåller fel

Studie av brus i indikatorer

Korrelation antal artiklar och brusnivå

Aggregated errors in interpretation The organisation Relation researcher - organisation? The world of the researcher Relation researcher - publication? The world of the publication Relation Thomson citation - quality? The Thomson database = "the truth" Kopiera bild från färskt föredrag – Linnéuniv.

Hur ska man använda bibliometri? Som statistiskt underlag till sakkunniga Som komplement till kunskap om ämnet och den bedömda organisationen Bibliometri fungerar bäst på makronivå En statistisk "genväg" till kvalitetsbedömning Bibliometri Peer review Dags att vakna: Föredragets viktigaste bild. Bibliometri fungerar bättre ju närmare verksamheten och sakkunskapen det används.

Bibliometri som nyckeltal och incitament Skilj på indikatorer och nyckeltal Indikatorer är approximativa och innehåller felmarginaler Nyckeltal förväntas vara exakta Skilj på utvärdering och incitament Utvärdering görs efteråt Incitament ges före Skilj makronivå och mikronivå Bibliometri arbetar bäst på makronivå Incitament fungerar bäst på mikronivå Slutsats: Bibliometri fungerar inte bra som nyckeltal och incitament

Mäter bibliometri forskningskvalitet? Ja, om: Nej, om: Forskningen publicerar sig i internationella tidskrifter Forskningen genererar böcker, rapporter, patent, debattartiklar och praktiska resultat Impact (citeringar) = kvalitet Citeringar betyder något annat än impact Forskningen är "konventionell" Forskningen är ung, smal och paradigmbrytande Datamaterialet är stort (> 500 publikationer) Datamaterialet är litet (< 50 publikationer) Bibliometri mäter inte frånvaro av kvalitet Brist på publikationer och citeringar kan ha förklaringar utanför den bibliometriska "sfären" Ej diagnostiskt: Bibliometri mäter inte frånvaro av kvalitet

Beware the direction of deduction High bibliometric indicator values usually implies good research High bibliometric indicator values Good research But: Good research will not always lead to high bibliometric indicator values Poor research often results in low bibliometric indicator values Low bibliometric indicator values Poor research But: Low bibliometric indicator values will not always imply poor research

Bibliometri och forskningspolitik

Varför bibliometrihausse? Globalisering – konkurrens Global trend att satsa på forskning Forskningen kostar mycket numera Vad får vi för pengarna? Revisionssamhälle? Ny manegementkultur kräver mätbar uppföljning Få mätbara resultat av grundforskning Publikationer och citeringar är två av de få Min syn på dagens situation Databaser med bibliometriska data: Thomson ISI, Elsevier Scopus. Google Scholar

Elfenbenstornet kontra hantverkaren Ska vi fortsätta ha ett "akademiskt elfenbenstorn"? Många menar att det är bäst om forskarna får resurser utan att behöva ansöka om dem Men vilka och hur många ska då få denna säkra finansiering? Ska vi ha forskningshantverkare som fokuserar på mätbara resultat? Hur går det med den långsiktiga grundforskningen om allt ska kunna följas upp i mätbara entiteter?

Hur påverkar bibliometrin forskningen? Forskningen blir mer inriktad på att producera publikationer än resultat Publikationer och citeringar blir valuta för att erhålla tjänster och finansiering Att få sitt namn i en författarlista blir hårdvaluta Handledare tar publiceringspoäng av doktorandernas arbete Affilieringar blir ett sätt att rikta ”credit” och forskningsmedel Amatörbibliometrin gör mest skada Tidskrifternas impaktfaktorer säger ingenting om den enskilda publikationen Antal publikationer och citeringar kan inte jämföras rakt av mellan olika forskningsområden

Bibliometrics – one view on reality Complexity Simplification Ranking lists Bibliometric indicators Peer review