Välkommen till dialogmöte! #Forskning
Kvalitetssäkring av forskning Uppdraget (i regleringsbrev och proposition) Utgångspunkter (i HL, HF och internationella överenskommelser) Axplock från rektorssamtal Kristina Tegler Jerselius heter jag. Jag kommer att prata om UKÄ:s nya uppdrag att kvalitetssäkra forskning. Jag kommer att inleda med att klargöra hur uppdraget ser ut och vad det är vi förväntas göra. Därefter kommer jag att säga något om hur vi arbetat med projektet för att ge er en lägesbeskrivning av var vi befinner oss idag och hur vi resonerat kring uppdraget Avslutningsvis kommer jag att säga något vad som framkommit under de rektorssamtal som hållits under december och januari och vad vi tar med oss från dessa samtal.
Uppdraget i UKÄ:s regleringsbrev UKÄ ska vidareutveckla det nationella kvalitetssäkringssystemet så att det omfattar även kvalitetssäkring av forskning Genomföras i enlighet med propositionen Kunskap i samverkan - för samhällets utmaningar och stärkt konkurrenskraft (2016/17:50) Genomföras i dialog med U & H, VR och med företrädare för studenter och arbetsliv Redovisas till regeringen 6 april 2018 UKÄ ska vidareutveckla det nationella kvalitetssäkringssystemet så att det omfattar även kvalitetssäkring av forskning Vi ska inte utvärdera forskningen i sig Inte nytt parallellt system utan integreras i befintligt Genomföras i enlighet med propositionen Kunskap i samverkan - för samhällets utmaningar och stärkt konkurrenskraft (2016/17:50). - Kommer att återkomma till vad som finns I den avseende forskning Genomföras i dialog med U & H, VR och med företrädare för studenter och arbetsliv - Som Anders var inne på har vi under december/januari träffat rektorer vid samtliga lärosäten i enskilda samtal kring uppdraget (26 möten) Redovisas till regeringen 6 april 2018
Kvalitetssäkring av forskning i regeringens proposition Ett sammanhållet system för kvalitetssäkring bedöms öka kopplingen mellan forskning och utbildning Minskar risken för dubbla granskningar Fokus ligger på att granska lärosätenas system och processer för att kvalitetssäkra forskning Uppdraget ska vara inriktat på både kontroll av resultat och kvalitetsutveckling Ett mer sammanhållet system för kvalitetssäkring, som inkluderar högskolans hela verksamhet, bedöms kunna bidra till ökad koppling mellan forskning och utbildning. Risken för att samma verksamhet, t.ex. utbildning på forskarnivå, granskas i flera olika system bedöms minska om det nationella systemet för kvalitetssäkring av utbildning och forskning är sammanhållet. Fokus i uppdraget att utvärdera forskning ligger på att granska lärosätenas system och processer för att kvalitetssäkra forskning. UKÄ:s uppdrag att kvalitetssäkra forskning ska vara inriktad på både kontroll av resultat och kvalitetsutveckling.
Kvalitetssäkringssystem för högre utbildning Ett sammanhållet system. Gemensam stomme för alla komponenterna. Man ska känna igen sig oavsett TP eller UU. Aspekterna är gemensamma men olika tonvikt beroende på komponent. Balansen mellan komponenterna viktig. Fokus i respektive komponent. Granska att lärosätena säkrar resultaten på utbildningar på grundnivå, avancerad nivå och forskarnivå. Syftena med UKÄ:s granskningar är dels att kontrollera utbildningarnas resultat, dels att bidra till lärosätenas arbete med kvalitetsutveckling av högre utbildning. Nedslag inom ett urval utbildningar - utbildningsutvärderingar Hållbart system. Använder era och våra resurser klokt. Dra erfarenheter av piloter inför beslut om ordinarie vägledningar. Undvika – repetitiva. Uppföljning, åtgärder och återkoppling. Tänkt att fånga systematiken i kvalitetsarbete. Gör vi det? Ger det ett stöd i interna kvalitetsarbete? Resultat av pilot: repetitivt inom komponenter och mellan. Återkommer inom alla aspektområden. Leder till repetition och överlappningar. En del av lärosätets styrning och organisation– arbeta med uppföljning? Bör det inom utbildningsutvärderingar vara en del av hur lärosätet säkrar studenternas måluppfyllelse? Mindre fokus på utveckling, mer listning av aktiviteter. Kommer inte åt kvalitetskulturen. I vilken komponent fokuserar vi på vad?
Utgångspunkter i HL och HF Forskningen ska hålla hög kvalitet och forskningsresultat ska komma till nytta Det ska finnas ett nära samband mellan utbildning och forskning Vetenskapens trovärdighet och god forskningssed ska värnas Frihet att välja forskningsproblem, utveckla forskningsmetoder, fritt publicera forskningsresultat Misstanke om oredlighet ska utredas Främja hållbar utveckling, jämställdhet, internationalisering, breddad rekrytering NB! Gäller inte enskilda lärosäten Forskningsresultat ska komma till nytta Det ska finnas ett nära samband mellan utbildning och forskning Vetenskapens trovärdighet och god forskningssed ska värnas Forskningen ska hålla hög kvalitet Frihet att välja forskningsproblem, utveckla forskningsmetoder, fritt publicera forskningsresultat Misstanke om oredlighet ska utredas NB! HL och HF säger inget om sanktionsmöjligheter om lärosätena inte uppfyller detta 5 § Högskolorna skall i sin verksamhet främja en hållbar utveckling som innebär att nuvarande och kommande generationer tillförsäkras en hälsosam och god miljö, ekonomisk och social välfärd och rättvisa. I högskolornas verksamhet skall jämställdhet mellan kvinnor och män alltid iakttas och främjas. Högskolorna bör vidare i sin verksamhet främja förståelsen för andra länder och för internationella förhållanden. Högskolorna skall också aktivt främja och bredda rekryteringen till högskolan. Lag (2005:1208). ****************** Högskolelagen kap. 1 2§ I högskolornas uppgift ska det ingå att verka för att forskningsresultat tillkomna vid högskolan kommer till nytta. 3 § Verksamheten skall bedrivas så att det finns ett nära samband mellan forskning och utbildning. 3 a § I högskolornas verksamhet skall vetenskapens trovärdighet och god forskningssed värnas. 4 § Verksamheten ska avpassas så att en hög kvalitet nås i utbildningen och forskningen. 6 § För forskningen skall som allmänna principer gälla att 1. forskningsproblem får fritt väljas, 2. forskningsmetoder får fritt utvecklas och 3. forskningsresultat får fritt publiceras Högskoleförordningen, kap 1 Utredning av misstanke om oredlighet 16 § En högskola som genom en anmälan eller på något annat sätt får kännedom om en misstanke om oredlighet i forskning, konstnärlig forskning eller utvecklingsarbete vid högskolan ska utreda misstankarna.
Utgångspunkter i internationella riktlinjer och överenskommelser ESG fokuserar på lärande och undervisning och säger väldigt lite om forskningens kvalitetssäkring Inledande paragraf som betonar koppling mellan utbildning och forskning, forskningens frihet och vaksamhet mot fusk Överenskommelser på policynivå om hur forskningspolitiken bör utformas Andra fokuserar på oredlighet och fusk (bara liten del av forskningens kvalitetssäkring) Nationellt ramverk motsvarande ESG för forskning (omfattning och frekvens) ESG fokuserar på lärande och undervisning och säger väldigt lite om forskningens kvalitetssäkring Portalparagraf som betonar koppling mellan utbildning och forskning, forskningens frihet och vaksamhet mot fusk Överenskommelser på policynivå om hur forskningspolitiken bör utformas Andra fokuserar på oredlighet och fusk (bara liten del av forskningens kvalitetssäkring) Nationellt ramverk motsvarande ESG för forskning i bl.a. NL: SEP ramverk för: Innehåll (bedömningskriterier) Genomförande (hur utvärderingen ska gå till) Återkoppling (resultera i handlingsplan) Inbyggd flexibilitet: utvärderingsenheter, indikatorer, utvärderas utifrån egna mål och strategi, handlingsplan Brett formulerade kriterier Bedömningen sker utifrån lärosätets strategi och mål ESG består av tre delar. Den första delen rör hur lärosätena själva arbetar med kvalitetssäkring av sin verksamhet med fokus på utbildning. Den andra delen handlar om den externa granskning lärosätena genomgår och den tredje delen handlar om kvalitetssäkring av de externa granskningsorganen. Det primära fokusområdet för ESG är utbildning, inklusive relevanta kopplingar mellan utbildning, forskning och innovation. I den första delen av ESG (standard 1.1), som handlar om lärosätenas interna kvalitetssäkringsprocesser, framgår att lärosätena bör ha en kvalitetssäkringspolicy. Denna policy ska vara offentlig och utgöra en del av den strategiska styrningen. Det framgår av riktlinjerna till standarden att kvalitetssäkringspolicyn är effektivast när den avspeglar förhållandet mellan utbildning och forskning. Policyn bör också ta hänsyn till lärosäteskontexten och lärosätens strategiska förhållningssätt. Det framgår vidare att lärosätets kvalitetssäkringspolicy bör stödja akademisk integritet och frihet samt vaksamhet mot fusk. I denna standard framhävs med andra ord kopplingen mellan utbildning och forskning samt den akademiska friheten. Dessutom poängteras vikten av vaksamhet mot forskningsfusk. I dessa avseende finns tydliga paralleller till den svenska lagstiftningen inom området. ESG, 1.1, Policy för kvalitetssäkring. Del 1. Standarder och riktlinjer för intern kvalitetssäkring Policy för kvalitetssäkring STANDARD: Lärosätena har en kvalitetssäkringspolicy som är offentlig och utgör en del av den strategiska styrningen. Interna aktörer utvecklar och tillämpar denna policy genom ändamålsenliga strukturer och processer, och externa intressenter involveras. RIKTLINJER: Kvalitetssäkringspolicyn är effektivast när den avspeglar relationen mellan forskning, lärande och undervisning samt beaktar såväl det nationella sammanhanget inom vilket lärosätet verkar, som lärosäteskontexten och läro-sätets strategiska förhållningssätt. En sådan policy stöder: ”Should have” i originalet. - akademisk integritet och frihet samt vaksamhet mot fusk
Kvalitetssäkra forskning vid universitet och högskolor idag Stor variation i hur kvalitetssäkring av forskning ser ut på olika lärosäten, men peer-review inbyggd del i forskningen Flera beskriver årscykel med verksamhetsuppföljning som viktig del i kvalitetssäkring kopplad till strategiarbete De flesta lärosäten gör en årlig indikatoruppföljning utifrån bibliometri och externa bidrag för att fördela medel Ungefär hälften har gjort större peer-review granskning Det finns en trend att gå från utvärderingar som beskriver tillstånd (resultat) till att gå mot utvärderingar med uttalat framtidsfokus (utveckling) Peer-review inbyggd del i forskningen - processer för ansökan av externa medel, publicering, seminarier etc. Stor variation i hur kvalitetssäkring av forskning ser ut på olika lärosäten - Vissa central styrning andra delegerat kvalitetsansvar Flera lärosäten har haft större peer-reviewbaserade granskningar. Dessa har haft en likartad form (internationella paneler, självvärdering, platsbesök, bibliometri) men olika innehåll (kontroll vs utveckling)
Hur kan UKÄ:s granskningar främja hög forskningskvalitet? Viktigt att lärosätena även framgent äger forskningsutvärderingen och kan utforma den efter egna behov och ändamål Det är viktigt med en modell som inte är för styrande och att skapa system som tar hänsyn till olikheter (profilering, förutsättningar, forskningsområden etc.) Resultaten från granskningen måste kunna användas för kvalitetsutveckling vid lärosätena, UKÄ bör vara ett stöd för sektorn bland annat genom att sprida kunskap om goda exempel Det är viktigt med framförhållning och transparens Systemet behöver ta hänsyn till mång- och tvärvetenskap samt konstnärlig forskning Hur hitta miniminivå för granskningar för lärosäten med mindre forskningsvolym? Bra om UKÄ:s granskningar kopplas till de överenskommelser som föreslås i STRUT-utredningen Viktigt att bygga ett system som omfattar samtliga lärosäten, inte enbart statliga Viktigt att UKÄ granskar kvalitetssäkringsarbetet och inte verksamheten och fokuserar på lärosätenas kvalitetsloop
Vilka farhågor finns? Det är viktigt att UKÄ:s granskningar inte blir för omfattande eller sker för ofta och att UKÄ:s tematiska granskningar inte överlappar LSG Viktigt att UKÄ granskar lärosätenas kvalitetsloop och inte forskningsverksamheten Viktigt att hitta balans mellan utbildnings- och forskningsdel i granskningen (viktigt att få återkoppling på båda delarna) Viktigt att det inte sker för snabbt
Sammanfattning UKÄ granskar U och H system och processer för kvalitetssäkring av forskning Utgår från HL och HF och tillämpliga internationella överenskommelser (behov av ytterligare ramverk?) Fokus på att skapa ett tydligt, transparent och hållbart system – skyndar långsamt
Indikatoruppdraget Om uppdraget Utgångspunkter för indikatorer Några områden för tänkbara indikatorer
Indikatoruppdraget i regleringsbrevet Vetenskapsrådet ska tillsammans med Universitetskanslersämbetet utveckla indikatorer för uppföljning utifrån de mål för forskningspolitiken som redovisas i propositionen Kunskap i samverkan – för samhällets utmaningar och stärkt konkurrenskraft (prop. 2016/17:50). Uppdraget ska genomföras i dialog med universitet och högskolor samt andra berörda myndigheter. Vetenskapsrådet ska redovisa uppdraget till Regeringskansliet (Utbildningsdepartementet) senast den 6 april 2018.
Indikatoruppdraget i regeringens proposition Regeringens mål för forskningspolitiken Sverige ska vara ett av världens främsta forsknings- och innovationsländer och en ledande kunskapsnation, där högkvalitativ forskning, högre utbildning och innovation leder till samhällets utveckling och välfärd, näringslivets konkurrenskraft och svarar mot de samhällsutmaningar vi står inför, både i Sverige och globalt. Regeringen pekar också ut följande uppföljningsbara delmål för den tioårsperiod som är propositionens: Sverige ska vara ett internationellt attraktivt land för investeringar i forskning och utveckling. De offentliga och privata investeringarna i forskning och utveckling bör även fortsatt överskrida EU:s mål. En övergripande kvalitetsförstärkning av forskningen ska ske och jämställdheten ska öka. Samverkan och samhällspåverkan ska öka.
Utgångspunkter - indikatoruppdraget Uppföljning på nationell nivå Inte för fördelning av medel eller jämförelser av lärosäten Uppföljning av målen inte av forskningspolitikens effekter Internationella jämförelser där så är möjligt samt över tid Diskutera föreslagna indikatorer med avseende på styreffekter Utgå från befintliga data (möjligen peka på behov av att utveckla indikatorer) Forskningsbarometern och UKÄs årsrapport – ger också kontext till indikatorerna
Områden för indikatorer Preliminär inriktning på indikatorerna
Delområde 1 Sverige ska vara ett internationellt attraktivt land för investeringar i forskning och utveckling. De offentliga och privata investeringarna i forskning och utveckling bör även fortsatt överskrida EU:s mål. Internationell finansiering av svensk FoU Lärosätenas totala intäkter från utlandet Nationella utgifter för FoU som andel av BNP Utgifter för FoU per finansierande sektor som andel av BNP - Utgifter för FoU per utförande sektor som andel av BNP
Delområde 2 En övergripande kvalitetsförstärkning av forskningen ska ske och jämställdheten ska öka Andel högciterade publikationer (jfr Forskningsbarometern) Internationella forskningsbidrag: Andel beviljade medel från ERC Kvinnor/män i olika personalkategorier Nya professorer och lektorer som är kvinnor/män Doktorsexamina för kvinnor/män Kohortstudie - tid från disputation till professor för kvinnor och män
Delområde 3 Samverkan och samhällspåverkan ska öka ?
Delområde 3 Samverkan och samhällspåverkan ska öka Olika typer av samverkan – t.ex. med omgivande samhälle, forskningssamverkan nationellt och internationellt, utbildning-forskning Adjungerade tjänster, doktorander med anställning utanför högskolan Sampublicering – (internationellt, icke-akademi…) Open Access publikationer (t.ex. andel publikationer) Intäkter till forskning från företag respektive kommuner och landsting Forskning inom olika samhällsutmaningar (ex. framgång i EU:s ramprogram) Andel av professorers/lektorers arbetstid som läggs på undervisning resp. forskning
Samordningsuppdraget Hur kan olika myndigheters uppföljningar och utvärderingar av verksamheter vid universitet och högskolor samordnas? Börja med att beskriva hur vi definierat olika begrepp i uppdraget Olika myndigheter - offentliga myndigheter inklusive de statliga forskningsråden, även tittat på andra organisationer och stiftelser som fördelar forskningsmedel Uppföljningar och utvärderingar – har vi inte definierat mer än att Uppföljning: fortlöpande insamling av data för att se hur någonting genomförs Utvärdering: att göra en värdering och uttala ett omdöme. Verksamheter – forskning, forskarutbildning, utbildning på grundnivå och avancerad nivå och samverkan. Fokuserar på forskning! Där de största samordningsfrågorna ligger…Uppdraget kom i anslutning t forskpropp.
Utgångspunkter Varför görs utvärderingar och uppföljningar? Vilka problem finns idag? Vad kan förbättras genom ökad samordning? Vi har inlett uppdraget genom att ställa oss följande frågor 1. Varför görs utvärderingar och uppföljningar? Varifrån kommer initiativen till uppföljningar och utvärderingar? På vilken nivå fattas beslut om att de ska göras… 2. Vilka problem upplevs idag? Hur resurskrävande är utvärdering och uppföljning för lärosätenas personal? Görs dubbelarbete? Både ur ett lärosätesperspektiv och ur de som utvärderar perspektiv? Finns det onödiga utvärderingar och uppföljningar? Gör det för många? Eller görs de kanske på fel sätt och vid fel tidpunkt? 3. Vad ska uppnås med samordning? Samordning – för vem? Återkommer till den frågan på slutet…
Arbetsprocess Kartläggning Rektorssamtal Dialogmöten För att lokalisera eventuella problem med samordning eller brist på samordning har vi börjat med att göra en bredare översiktlig kartläggning av de aktörer som utvärderar och följer upp lärosätenas verksamhet Även dialoger med bland annat lärosäten och större forskningsfinansiärer
Kartläggning Arbetsuppgifter som har ålagts lärosätenas personal ”utifrån” Offentliga myndigheter, även andra organisationer och stiftelser som fördelar forskningsmedel Femårsperiod 2013-2017 Kartläggningens syfte har varit att få en överblick över läget. Vi har gjort en översiktlig bred kartläggning av arbetsuppgifter som har ålagts lärosätenas personal ”utifrån” Vi har inte så mycket tittat på de egna utvärderingarna och uppföljningarna som initieras internt. 2. Fokus har legat på offentliga myndigheter, inkl. forskningsråden, men även tittat på andra organisationer och stiftelser som fördelar forskningsmedel… …Vi har velat få med så många som möjligt….och avgränsningen har mest handlat om projektets tidsramar…börjat med de största… 3. Vi har tittat på en femårsperiod 2013-2017 Kartläggningen har gett oss en grov överblick om på vems initiativ lärosätena har ålagts dessa utvärderingar och uppföljningar när de har skett vilken personal från lärosätena som har involverats i arbetet vilken metod som har använts (intervjuer, enkäter, datainsamling, elektronisk uppföljning)
Dialoger U o H - Rektorer Möten med Formas, Forte och Vinnova och SCB Detta möte Vi har haft olika typer av dialoger där vi diskuterat uppdraget 1. Vi har haft dialog med universitet och högskolor genom samtal med rektorer m fl Diskuterat bl a: huruvida de anser utvärderingar och uppföljningar belastande relationen mellan egeninitierade och externa granskningar om de upplever någon förändring över tid Bilden splittrad – några tyckt det har varit extremt tungrott med alla utvärderingar och uppföljningar medan andra tyckt att det inte varit några som helst problem, sånt man får räkna med… 2. Vi har dialogmöten med forskningsråden och Vinnova, både med GD och handläggare. Diskuterat bl a hur samordningen ser ut dem emellan i dagsläget och om något skulle kunna göras ännu bättre Även möten med handläggare på SCB 3. Slutligen, detta möte ingår ju också i dialogen, är jätteviktigt för vårt fortsatta arbete!
Fördjupad undersökning Varför utvärdera och följa upp? Utvärderings- och uppföljningsansvar Departementen Myndigheterna Vi gör även en fördjupad undersökning av de myndigheter som nämns i propositionen (Kunskap i samverkan) i relation till uppdraget - UKÄ, VR, FORMAS, FORTE, VINNOVA och SCB Varför utvärdera och följa upp? Delvis tänkt som en pedagogisk ansats för att beskriva varför lärosätenas verksamheter utvärderas. 2. Utvärderings- och uppföljningsansvar Vi går igenom regleringsbrev, instruktioner och regeringsuppdrag mm för de myndigheter jag nämnde, som i proppen skrivits fram som ansvariga för utvärdering och/eller uppföljning av forskning 3. Departementen Här är det intressant att se om det går att utröna någon samordning mellan departementen när det gäller vilka uppdrag de ger sina myndigheter…hur ansvar fördelas mellan myndigheterna… 4. Myndigheterna Det är också intressant att se vilken samordning mellan dessa myndigheter som skrivs fram idag.
Vad ska uppnås med samordning? Förslag som kan underlätta för samtliga inblandade Kan lärosätena få större utbyte av de uppföljningar och utvärderingar som olika myndigheter utför? I vilka avseenden behöver samordningen mellan olika myndigheters uppföljning och utvärdering förbättras? Slutligen, Den kanske viktigaste frågan vi ställt oss i samband med det här uppdraget är - Vad är det egentligen som ska uppnås med samordning? 1. Vår ambition är att kunna ta fram förslag som kan underlätta för samtliga inblandade, både ”Utvärderare och utvärderade”… Vi är inte klara än. Därför ser vi det som jätteviktigt att få in bra synpunkter från er idag! 2. När det gäller lärosätena, är det kanske inte alltid är arbetsinsatsen i sig som är det största problemet för lärosätets personal … Till exempel kan det också vara viktigt att tänka på frågor som hur återkoppling ges och hur framförhållningen ser ut och om snarlika moment upprepas (i onödan)…osv 3. När det gäller myndigheterna, är en del saker svårare att samordna eftersom myndigheternas uppdrag skiljer sig åt… Men, det är ändå viktigt att se över om det finns processer som är gemensamma och som kan förbättras genom att utvecklas gemensamt och samordnas.
Skicka in dina synpunkter! dialog@uka.se Kan ligga framme från 15.15 och framåt.