reliabilitet vid bedömning av vetenskapliga uppsatser Med mitt mått mätt reliabilitet vid bedömning av vetenskapliga uppsatser

Deltagare Lars Björklund, Linköpings Universitet (huvudsökande) Mats Lundström, Malmö Högskola Karin Stolpe, Linköpings Universitet Maria Åström, Umeå Universitet Totalt 1,5 tjänst under 18 månader

Bakgrund Högskolestudenters vetenskapliga texter har fått en allt större roll i såväl examination som bedömning av utbildningsanstaltens kvalitet (Säljö & Södling, 2006). Vid bedömning av uppsatser och andra prov på vetenskapligt tänkande blir frågan om likhet i bedömning, den s.k. interbedömarreliabiliteten viktig. Studenterna måste kunna examineras på ett rättsäkert och objektivt sätt. Universitetens och utbildningarnas kvalitet kommer att bedömas via stickprov av examensarbeten, något som ytterligare fokuserar på frågan om att examensarbeten blir reliabelt bedömda.

Syfte Syftet med denna studie är undersöka om olika examinatorer betygssätter examensarbeten på samma sätt. Om detta inte är fallet vill vi söka svaret på frågan vad beror detta på?

Forskningsfrågor 1. Vilka kriterier använder examinatorer vid bedömning av examensarbeten? 2. Hur skiljer sig kriterier inom olika ämneskulturer? 3. Hur skiljer sig kriterier mellan noviser och experter? (4. I vilken mån kan bedömningsmetoder hämtade från ett estetiskt ämne användas?)

Helhet eller delar? Bedömning och värdering sker enligt Thurstone (1927) alltid genom att vi jämför med något och detta något ofta är odefinierat. Användandet av ”rubrics” som är korta beskrivande texter som beskriver en viss kvalitetsnivå verkar dock enligt Lindström (1999) kunna öka reliabiliteten. Kimbell (2009) menar att det är ineffektivt att bedöma en helhet genom att först dela upp den i delar och sedan lägga samman de enskilda värdeomdömen som dessa erhållit

Metod – Steg 1 Intervju med informant/examinator Två uppsatser i taget jämförs. Det med högst kvalitet pekas ut, utan att informanten motiverar. Proceduren upprepas ett antal gånger med övriga uppsatser (6-8 st)

Metod - Steg 2 Efter detta genomförs en Repertory Grid Technique-intervju med varje bedömare och dennes åtta uppsatser som ”element” där de individuella kriterierna lyfts upp i form av ”constructs”. Kopplingen till den tidigare bedömningen analyseras för att visa vad och vilka kriterier som är viktigast.

Analys Sker utifrån att jämföra helhet/del, vilka kriterier som poängteras. Jämförelse mellan olika ämnesbakgrund samt erfarenhet hos informanten/examinatorn

Tidsplanering Vt 2014 – pilotstudie Ht 2014 – huvudstudie Vt 2015 - publiceringsarbete