Bibliometri för utvärdering av forskning – publikationer som prestationsmätare och kvalitetsmått Ulf Kronman School of Education and Communication in.

En presentation över ämnet: "Bibliometri för utvärdering av forskning – publikationer som prestationsmätare och kvalitetsmått Ulf Kronman School of Education and Communication in."— Presentationens avskrift:

1 Bibliometri för utvärdering av forskning – publikationer som prestationsmätare och kvalitetsmått
Ulf Kronman School of Education and Communication in Engineering Science KTH Royal Institute of Technology / Kungliga Tekniska Högskolan Karolinska Institutets bibliotek

2 Seminariets delar Kort grundkurs i bibliometri
Datakällor, metoder och indikatorer Mäter bibliometri forskningskvalitet? Kritisk granskning Bibliometri och forskningspolitik Bibliometri som nyckeltal och incitament Bibliometrins inverkan på forskningssystemet Går från mer föreläsande delar till mer diskussion på slutet Fråga gärna!

3 Grundkurs i bibliometri

4 Bibliometri = statistiska analyser av publikationer
Produktion – publikationer Hur många, per år, per forskare, per krona? Vilka typer av publikationer? Genomslag – citeringar Blir publikationerna lästa och gör intryck? Samverkan – nätverk Samförfattande, ämnesrelationer och citeringsrelationer Dynamik Hur förändras ovanstående indikatorer över tiden? Hårda endimensionella indikatorer: antal publiceringar och citeringar Mjuka flerdimensionella indikatorer: sampublicering, cocitering och ämnessamband Enkelt i teorin – komplicerat i praktiken Varför bibliometrihausse för forskningen: Publikationer och citeringar två av de få mätbara resultaten av grundforskning British Standard Glossary of Documentations of Terms: Tillämpningen av matematiska och statistiska metoder i studiet av publikationsmönster och hur dokument används Wikipedia: Statistiska analyser av publikationer Hur många – per år, per forskare, per krona, … Vilka typer – artiklar, konferensrapporter, avhandlingar, rapporter, böcker, … Hur många – per enhet, forskare, publikation, år, krona, … Samförfattande – vilka skriver tillsammans? Cocitering – vilka citeras av samma verk? Bibliografisk relation – vilka refererar till samma verk? Vilka ämnen behandlas i samma verk, resp. citerar varandra?

5 Datakällor för bibliometri
Thomson Reuters Web of Science tidskriftstitlar – från 1960-talet (ISI) Elsevier Scopus tidskrifter och konferensserier – från 1996 Google Scholar Samlar in "allt på nätet" Även doktorsavhandlingar och rapporter Egen publikationsdatabas, DiVA & SwePub Bättre täckning – fler dokumenttyper Verifierade data – forskare och institution Inga citeringsdata – ingen världsdata Specialdatabaser – ArXiv, SPIRS, Chemical Abstracts

6 Olika forskningsfält – olika förutsättningar
Skiftande publiceringskulturer Olika publikationstyper Varierande publiceringsfrekvens Olika citeringsmönster Olika täckningsgrad i datakällorna Medicin och naturvetenskap täcks bra Internationella tidskriftsartiklar Teknik täcks halvbra Tidskriftsartiklar, konferenser, rapporter Samhällsvetenskap och humaniora täcks dåligt Nationella tidskriftsartiklar, böcker, antologier

7 Olika områdens synlighet i Thomson ISI
Tidskriftsartiklar Konferenstryck Rapporter Böcker I Norge har man byggt en databas som innehåller både självregistrerat material och material från Thomson Därför kan de se hur mycket som kommer från Thomson och hur mycket man behöver registrera manuellt Databasleverantörerna indexerar främst det material som är lättast att samla in – artiklar in engelskspråkiga tidskrifter Dataunderlag från norska Database for statistikk om høgre utdanning (DBH)

8 Citeringsbaserad bibliometri
Bygger på antagandet att en citering speglar en publikations genomslag i forskningssamfundet B Citerande/refererande Citerad Referens Citering C Citerande/refererande Referens Citering Antagandet fungerar bäst för naturvetenskap, medicin och teknik som är kumulativa Fungerar sämre för samhällsvetenskap och humaniora som är mer resonerande A

9 Citeringar – ojämnt fördelade
Den skeva fördelningen är ett problem när vi sysslar med statistik

10 Citeringar i relation till publikationstyp och ålder

11 Citeringar i relation till ämne och ålder

12 Fältnormerad citeringsgrad
Publiceringsår Fler citeringar ju fler år sedan publicering Dokumenttyp Översiktsartiklar får 2,5 gånger fler citeringar än originalartiklar Forskningsfält Cellbiologi 10 gånger fler citeringar än matematik Normering jämför lika med lika Samma år, dokumenttyp och forskningsfält Normerat världsmedelvärde = 1 Mer än 1 = större genomslag än världsgenomsnittet Vassaste vapnet i kampen om pengarna Crown, FCS, FCR

13 Bibliometriska indikatorer – exempel
Antal publikationer (P) Ämnesområden, trender, samförfattande Citeringar (C) Fältnormerade (cf) Tidskriftsnormerade (cj) Tidskrifter Thomsons Journal Impact Factor (JIF) Tidskriftens citeringsgrad normerad mot fält (jf) h-index h antal publikationer citerade minst h gånger h-index – populär "vulgärindikator" Lätt att förstå, lätt att räkna ut Ej justerad för tid eller fält

14 Visualiseringar av bibliometriska relationer

15 Mäter bibliometri forskningskvalitet? - en kritisk granskning

16 Citeringarna är inte normalfördelade

17 Inneboende variabilitet i datamaterialet
Gränsdragningar i datamängden skapar brus Konstruerade gränser mellan publiceringsår, tidskrifter, ämnesområden – och även organisationer Forskarnas publicering och citering uppvisar en viss bibliometrisk "godtycklighet" på mikronivån Var publicerar de sig och varför? Vad/vem citerar de och varför? Vilka får vara med i författarlistan (och hur sorteras den)? Indata är komplext och genererar slumpmässiga variationer i citeringsdata Över hälften av citeringarna leder till publikationer utanför Thomsons index Thomson missar runt 6% av citeringarna inom sitt system Acta Obscura Exotica Runt 1% av artikelposterna i Thomson innehåller fel

18 Studie av brus i indikatorer

19 Korrelation antal artiklar och brusnivå

20 Aggregated errors in interpretation
The organisation Relation researcher - organisation? The world of the researcher Relation researcher - publication? The world of the publication Relation Thomson citation - quality? The Thomson database = "the truth" Kopiera bild från färskt föredrag – Linnéuniv.

21 Hur ska man använda bibliometri?
Som statistiskt underlag till sakkunniga Som komplement till kunskap om ämnet och den bedömda organisationen Bibliometri fungerar bäst på makronivå En statistisk "genväg" till kvalitetsbedömning Bibliometri Peer review Dags att vakna: Föredragets viktigaste bild. Bibliometri fungerar bättre ju närmare verksamheten och sakkunskapen det används.

22 Bibliometri som nyckeltal och incitament
Skilj på indikatorer och nyckeltal Indikatorer är approximativa och innehåller felmarginaler Nyckeltal förväntas vara exakta Skilj på utvärdering och incitament Utvärdering görs efteråt Incitament ges före Skilj makronivå och mikronivå Bibliometri arbetar bäst på makronivå Incitament fungerar bäst på mikronivå Slutsats: Bibliometri fungerar inte bra som nyckeltal och incitament

23 Mäter bibliometri forskningskvalitet?
Ja, om: Nej, om: Forskningen publicerar sig i internationella tidskrifter Forskningen genererar böcker, rapporter, patent, debattartiklar och praktiska resultat Impact (citeringar) = kvalitet Citeringar betyder något annat än impact Forskningen är "konventionell" Forskningen är ung, smal och paradigmbrytande Datamaterialet är stort (> 500 publikationer) Datamaterialet är litet (< 50 publikationer) Bibliometri mäter inte frånvaro av kvalitet Brist på publikationer och citeringar kan ha förklaringar utanför den bibliometriska "sfären" Ej diagnostiskt: Bibliometri mäter inte frånvaro av kvalitet

24 Beware the direction of deduction
High bibliometric indicator values usually implies good research High bibliometric indicator values Good research But: Good research will not always lead to high bibliometric indicator values Poor research often results in low bibliometric indicator values Low bibliometric indicator values Poor research But: Low bibliometric indicator values will not always imply poor research

25 Bibliometri och forskningspolitik

26 Varför bibliometrihausse?
Globalisering – konkurrens Global trend att satsa på forskning Forskningen kostar mycket numera Vad får vi för pengarna? Revisionssamhälle? Ny manegementkultur kräver mätbar uppföljning Få mätbara resultat av grundforskning Publikationer och citeringar är två av de få Min syn på dagens situation Databaser med bibliometriska data: Thomson ISI, Elsevier Scopus. Google Scholar

27 Elfenbenstornet kontra hantverkaren
Ska vi fortsätta ha ett "akademiskt elfenbenstorn"? Många menar att det är bäst om forskarna får resurser utan att behöva ansöka om dem Men vilka och hur många ska då få denna säkra finansiering? Ska vi ha forskningshantverkare som fokuserar på mätbara resultat? Hur går det med den långsiktiga grundforskningen om allt ska kunna följas upp i mätbara entiteter?

28 Hur påverkar bibliometrin forskningen?
Forskningen blir mer inriktad på att producera publikationer än resultat Publikationer och citeringar blir valuta för att erhålla tjänster och finansiering Att få sitt namn i en författarlista blir hårdvaluta Handledare tar publiceringspoäng av doktorandernas arbete Affilieringar blir ett sätt att rikta ”credit” och forskningsmedel Amatörbibliometrin gör mest skada Tidskrifternas impaktfaktorer säger ingenting om den enskilda publikationen Antal publikationer och citeringar kan inte jämföras rakt av mellan olika forskningsområden

29 Bibliometrics – one view on reality
Complexity Simplification Ranking lists Bibliometric indicators Peer review