Presentation laddar. Vänta.

Presentation laddar. Vänta.

Bibliometri för utvärdering av forskning – publikationer som prestationsmätare och kvalitetsmått Ulf Kronman School of Education and Communication in Engineering.

Liknande presentationer


En presentation över ämnet: "Bibliometri för utvärdering av forskning – publikationer som prestationsmätare och kvalitetsmått Ulf Kronman School of Education and Communication in Engineering."— Presentationens avskrift:

1 Bibliometri för utvärdering av forskning – publikationer som prestationsmätare och kvalitetsmått Ulf Kronman School of Education and Communication in Engineering Science KTH Royal Institute of Technology / Kungliga Tekniska Högskolan Karolinska Institutets bibliotek

2 Seminariets delar Kort grundkurs i bibliometri Datakällor, metoder och indikatorer Mäter bibliometri forskningskvalitet? Kritisk granskning Bibliometri och forskningspolitik Bibliometri som nyckeltal och incitament Bibliometrins inverkan på forskningssystemet

3 Grundkurs i bibliometri

4 Bibliometri = statistiska analyser av publikationer Produktion – publikationer Hur många, per år, per forskare, per krona? Vilka typer av publikationer? Genomslag – citeringar Blir publikationerna lästa och gör intryck? Samverkan – nätverk Samförfattande, ämnesrelationer och citeringsrelationer Dynamik Hur förändras ovanstående indikatorer över tiden?

5 Datakällor för bibliometri Thomson Reuters Web of Science tidskriftstitlar – från 1960-talet (ISI) Elsevier Scopus tidskrifter och konferensserier – från 1996 Google Scholar Samlar in "allt på nätet" Även doktorsavhandlingar och rapporter Egen publikationsdatabas, DiVA & SwePub Bättre täckning – fler dokumenttyper Verifierade data – forskare och institution Inga citeringsdata – ingen världsdata

6 Olika forskningsfält – olika förutsättningar Skiftande publiceringskulturer Olika publikationstyper Varierande publiceringsfrekvens Olika citeringsmönster Olika täckningsgrad i datakällorna Medicin och naturvetenskap täcks bra Internationella tidskriftsartiklar Teknik täcks halvbra Tidskriftsartiklar, konferenser, rapporter Samhällsvetenskap och humaniora täcks dåligt Nationella tidskriftsartiklar, böcker, antologier

7 Olika områdens synlighet i Thomson ISI Dataunderlag från norska Database for statistikk om høgre utdanning (DBH) Konferenstryck Rapporter Böcker Tidskriftsartiklar

8 Citeringsbaserad bibliometri Bygger på antagandet att en citering speglar en publikations genomslag i forskningssamfundet A C Citerande/refererande Referens Citering B Citerande/refererande Citerad Referens Citering

9 Citeringar – ojämnt fördelade

10 Citeringar i relation till publikationstyp och ålder

11 Citeringar i relation till ämne och ålder

12 Fältnormerad citeringsgrad Publiceringsår Fler citeringar ju fler år sedan publicering Dokumenttyp Översiktsartiklar får 2,5 gånger fler citeringar än originalartiklar Forskningsfält Cellbiologi 10 gånger fler citeringar än matematik Normering jämför lika med lika Samma år, dokumenttyp och forskningsfält Normerat världsmedelvärde = 1 Mer än 1 = större genomslag än världsgenomsnittet

13 Bibliometriska indikatorer – exempel Antal publikationer (P) Ämnesområden, trender, samförfattande Citeringar (C) Fältnormerade (c f ) Tidskriftsnormerade (c j ) Tidskrifter Thomsons Journal Impact Factor (JIF) Tidskriftens citeringsgrad normerad mot fält (j f ) h-index h antal publikationer citerade minst h gånger

14 Visualiseringar av bibliometriska relationer

15 Mäter bibliometri forskningskvalitet? - en kritisk granskning

16 Citeringarna är inte normalfördelade

17 Inneboende variabilitet i datamaterialet Gränsdragningar i datamängden skapar brus Konstruerade gränser mellan publiceringsår, tidskrifter, ämnesområden – och även organisationer Forskarnas publicering och citering uppvisar en viss bibliometrisk "godtycklighet" på mikronivån Var publicerar de sig och varför? Vad/vem citerar de och varför? Vilka får vara med i författarlistan (och hur sorteras den)? Indata är komplext och genererar slumpmässiga variationer i citeringsdata Över hälften av citeringarna leder till publikationer utanför Thomsons index Thomson missar runt 6% av citeringarna inom sitt system

18 Studie av brus i indikatorer

19 Korrelation antal artiklar och brusnivå

20 The organisation Relation researcher - organisation? Aggregated errors in interpretation The world of the researcher Relation researcher - publication? The world of the publication Relation Thomson citation - quality? The Thomson database = "the truth"

21 Hur ska man använda bibliometri? Som statistiskt underlag till sakkunniga Som komplement till kunskap om ämnet och den bedömda organisationen Bibliometri fungerar bäst på makronivå En statistisk "genväg" till kvalitetsbedömning BibliometriPeer review

22 Bibliometri som nyckeltal och incitament Skilj på indikatorer och nyckeltal Indikatorer är approximativa och innehåller felmarginaler Nyckeltal förväntas vara exakta Skilj på utvärdering och incitament Utvärdering görs efteråt Incitament ges före Skilj makronivå och mikronivå Bibliometri arbetar bäst på makronivå Incitament fungerar bäst på mikronivå

23 Mäter bibliometri forskningskvalitet? Ja, om:Nej, om: Forskningen publicerar sig i internationella tidskrifter Forskningen genererar böcker, rapporter, patent, debattartiklar och praktiska resultat Impact (citeringar) = kvalitet Citeringar betyder något annat än impact Forskningen är "konventionell" Forskningen är ung, smal och paradigmbrytande Datamaterialet är stort (> 500 publikationer) Datamaterialet är litet (< 50 publikationer) Ej diagnostiskt: Bibliometri mäter inte frånvaro av kvalitet

24 Beware the direction of deduction High bibliometric indicator values Good research Poor research Low bibliometric indicator values High bibliometric indicator values usually implies good research Poor research often results in low bibliometric indicator values But: Good research will not always lead to high bibliometric indicator values But: Low bibliometric indicator values will not always imply poor research

25 Bibliometri och forskningspolitik

26 Varför bibliometrihausse? Globalisering – konkurrens Global trend att satsa på forskning Forskningen kostar mycket numera Vad får vi för pengarna? Revisionssamhälle? Ny manegementkultur kräver mätbar uppföljning Få mätbara resultat av grundforskning Publikationer och citeringar är två av de få

27 Elfenbenstornet kontra hantverkaren Ska vi fortsätta ha ett "akademiskt elfenbenstorn"? Många menar att det är bäst om forskarna får resurser utan att behöva ansöka om dem Men vilka och hur många ska då få denna säkra finansiering? Ska vi ha forskningshantverkare som fokuserar på mätbara resultat? Hur går det med den långsiktiga grundforskningen om allt ska kunna följas upp i mätbara entiteter?

28 Hur påverkar bibliometrin forskningen? Forskningen blir mer inriktad på att producera publikationer än resultat Publikationer och citeringar blir valuta för att erhålla tjänster och finansiering Att få sitt namn i en författarlista blir hårdvaluta Handledare tar publiceringspoäng av doktorandernas arbete Affilieringar blir ett sätt att rikta ”credit” och forskningsmedel Amatörbibliometrin gör mest skada Tidskrifternas impaktfaktorer säger ingenting om den enskilda publikationen Antal publikationer och citeringar kan inte jämföras rakt av mellan olika forskningsområden

29 Complexity Simplification Bibliometrics – one view on reality Ranking lists Peer review Bibliometric indicators


Ladda ner ppt "Bibliometri för utvärdering av forskning – publikationer som prestationsmätare och kvalitetsmått Ulf Kronman School of Education and Communication in Engineering."

Liknande presentationer


Google-annonser