Från bibliometri till altmetri – nya sätt att mäta impact

Trad impact = antalet citeringar i WoS Kvalitetssäkrat innehåll Kvalitetssäkrat data Multidisciplinär Möjlig att normalicera

Begränsning 1

Goodhart’s Law: When a measure becomes a target it ceases to be a good measure Begränsning 2

Begränsning 3 Tar enbart hänsyn till inomvetenskaplig impact

Leiden Manifesto 2015 (Nature)

The Evaluation Gap …the emergence of a more fundamental gap between on the one hand the dominant criteria in scientific quality control (in peer review as well as in metrics approaches), and on the other hand the new roles of research in society. Paul Wouters

Written impact statements on a broad range of criteria including: their formal academic contributions economic impact of their work, influence on government policy, their public outreach efforts and their contribution to training the next generation of academics.

Forskningens genomslag utanför akademin i FOKUS ” Två underlag för bedömning föreslås: fallstudier [av egenutvalda projekt] samt en kortfattad och strukturerad beskrivning av den rapporterande enhetens strategier för att kommunicera resultat utanför akademin och för att främja användning av forskningsresultat utanför akademin samt för att åstadkomma genomslag” (Vetenskapsrådet, 2014, s. 41).

Vetenskaplig kommunikation lämnar spår. Inte bara genom citeringar utan även i: Visningar Omnämnanden Nedladdningar Rekommendationer

Altmetrics Manifesto 2010

PLoS ONE

Hur användbart är allt detta?

Wouters & Costas (2012) Users, narcissism and control – tracking the impact of scholarly publications in the 21 st century Technologies of filtering Technologies of control Technologies of narcissism

Technologies of control Dålig datakvalitet Tveksamma indikatorer Normalisering ej möjlig Brist på transparens i uppbyggnad Metrics på artikel- eller individnivå

Technologies of narcissism Kolla genomslaget av egna artiklar Tillåta något slag av självärdering Dock svårt att jämföra

Altmetri på andra svenska lärosäten Södertörns högskola: ”* PlumX visar på okänd spridning: ’Oj, vad många kommentarer på Facebook!’ ’Wikipedia länkar till mina publikationer’ […] * Utvärdering tveksamt – saknas fullständig och korrekt data” (Hertil Lindelöw, 2015).

Altmetri på andra svenska lärosäten Enkätundersökning till svenska universitetsbibliotek: ”De flesta bibliotekarier upplever att forskare och doktorander tycker att altmetri är ”intressant och en kul grej” men att de känner viss skepsis då de inte vet exakt vad det altmetriska värdet står för. […] Ingen ställer sig positiv till att använda altmetri för utvärdering av forskning då det är för outvecklat och osäkert än så länge” (Nordfeldt 2015, s. 22).

Altmetri som en trackningtjänst? Förlitar sig på unika identifikatorer (publikationernas ”personnummer”). Inte alla publikationer har sådana. Dessutom: På nätet finns inga tydliga normer för hänvisningar motsvarande citeringsstilar, så missar nog väldigt mycket p.g.a. variation i hur publikationen omnämns. Verkar inte följa diskussionen i svenska källor? Publikationsinriktad tracking missar omnämnanden inriktade på personer och/eller hela projekt

Spår av Jonas Stiers ”Blod, svett och tårar” i media Saknar DOI och ISBN Inga (?) nyhetskällor på webben länkar publikationen 250 träffar om Jonas Stier och gymnastik i Retriever Research 210 av dessa omnämner honom med professorstitel Bara 15 nämner rapportens titel Bara 15 nämner Mälardalens högskola Ytterligare några hänvisar till rapporten utan att vare sig författare, titeln eller lärosäte nämns, t.ex.: ”En sak som togs upp i rapporten var att barn hade förbjudits äta frukt. Men inte heller där känner de igen sig” (Engström, ).

Frågor att ställa vid ev. pilotstudie av MDH-forsknings samhällsgenomslag Vilken typ av samhällsgenomslag kan forskningen tänkas ha haft? Vilken sorts data skulle kunna påvisa det genomslaget (eget spånande + liknande fall i REF-databasen)? Är det data som forskarna själva sitter på, eller data som behöver vaskas fram? Är det data som redan befintliga altmetritjänster kan tänkas tillhandahålla? I så fall, informationens användbarhet i fallstudie vs. tjänstens pris? Är det data biblioteket skulle kunna bistå med genom mer skräddarsydda sökstrategier? I så fall, informationens användbarhet i fallstudie vs. tidsåtgång?

Referenser och länkar Engström, S. ( ). Tjejerna känner inte igen sig i kritiken. Helsingborgs dagblad. Hämtad , från Hertil Lindelöw, C. (2015). Plumx på Södertörns högskola [poster]. Tillgänglig: Nordfeldt, L. (2015). Altmetri och vetenskaplig kommunikation: En enkätstudie bland svenska UH-bibliotek [kandidatuppsats i biblioteks- och informationsvetenskap, Högskolan i Borås]. Tillgänglig: Vetenskapsrådet. (2014). Forskningskvalitetsutvärdering i Sverige – FOKUS. Tillgänglig: i-sverige-fokus/ i-sverige-fokus/ Övriga länkar: REF fallstudier samhällsgenomslag: Stier, J, (2012). Blod, svett och tårar. Ledarkulturen inom svenska landslagsgymnastik – belyst och problematiserad. Västerås: Mälardalens högskola. Tillgänglig: