Projekt - Utvärdera examensarbeten Bakgrund Under år 2010 visade en kartläggning kring examensarbeten i civilingenjörsprogrammen, i ett nationellt TUF projekt, att LTU ligger rätt i tiden vad gäller arbete med riktlinjer. Både fakultetsnämnder och institutioner har uttalat en önskan om fortsättning; -Hur ser kvaliteten på våra examensarbeten ut? -Hur kan vi hitta gemensamma bedömningskriterier för examensarbeten? -Hur kan vi förbereda oss så att våra examensarbeten faller väl ut vid utbildningsutvärderingarna 2012?

Lärandemål Kunskap och förståelse 1.1Visa sådan kunskap och förmåga som krävs för att självständigt arbeta efter studier. 1.2Visa kunskap om det valda ämnesområdets vetenskapliga grund och dess beprövade erfarenhet samt insikt i aktuellt forsknings- och utvecklingsarbete. 1.3Visa såväl brett kunnande inom det valda ämnesområdet som väsentligt fördjupade kunskaper inom vissa områden. Färdighet och förmåga 2.1Visa förmåga att med helhetssyn kritiskt, självständigt och kreativt identifiera, formulera och hantera komplexa frågeställningar, analysera och kritiskt utvärdera olika lösningar samt delta i forsknings- och utvecklingsarbete och därigenom bidra till kunskapsutvecklingen. 2.2Visa förmåga att kritiskt och systematiskt integrera kunskap samt visa förmåga att modellera, simulera, förutsäga och utvärdera skeenden, även med utgångspunkt i begränsad information. 2.3Visa förmåga att planera och med adekvata metoder genomföra kvalificerade uppgifter inom givna ramar 2.4Visa förmåga att utveckla och utforma produkter, processer och system med hänsyn till människors förutsättningar och behov och samhällets mål för ekonomisk, social och ekologisk hållbar utveckling. 2.5Visa förmåga att i såväl nationella som internationella sammanhang muntligt och skriftligt klart redogöra för och diskutera sina slutsatser och den kunskap och de argument som ligger till grund för dessa i dialog med olika målgrupper. Värderingsförmåga och förhållningssätt 3.1Visa förmåga att göra bedömningar med hänsyn till relevant vetenskapliga, samhälleliga och etiska aspekter samt visa medvetenhet om etiska aspekter på forsknings- och utvecklingsarbete. 3.2Visa insikt i ämnets möjligheter och begränsningar, dess roll i samhället och människors ansvar för hur den används, inbegripet sociala, ekonomiska, miljömässiga och arbetsmiljömässiga konsekvenser. 3.3Visa insikt om och förmåga till lagarbete och samverkan i grupper med olika sammansättning. 3.4Visa förmåga att identifiera sitt behov av ytterligare kunskap och att fortlöpande utveckla sin färdighet och förmåga.

Bedömningsskala 5-gradig skala där 1- 5 där de olika ovan nämnda aspekterna bedöms mer i detalj: 1= helt oacceptabelt 2= ej acceptabelt 3= acceptabelt 4= bra 5= mycket bra N/A anges där kriteriet inte anses tillämpligt på det aktuella examensarbetet.

Resultat slumpmässigt utvalda examensarbeten Erfarna exjobbshandledare/examinatorer som granskare 51 exjobb granskade 5 ej godkända (10%) 5 acceptabla (10%) 32 bra (60%) 9 mycket bra (20%)

Lärandemål som är identifierbara i alla granskade exjobb 1.2 … om det valda teknikområdets vetenskap- liga grund och beprövade erfarenhet… aktuellt forsknings- och utvecklingsarbete. 2.1 … identifiera, formulera och hantera komplexa frågeställningar… 2.3 … planera och med adekvata metoder genomföra… 2.7 … muntligt och skriftligt…

Ytterligare föreslagna lärandemål att ingå i exjobbskursplan 1.3 … brett kunnande inom det valda teknik-området… väsentligt fördjupade kunskaper inom vissa delar…. 2.4 … modellera, simulera, förutsäga och utvärdera … 2.5 … med hänsyn till … människors … samhällets mål 3.1 … hänsyn till relevant vetenskapliga, samhälleliga och etiska aspekter… 3.2 …. roll i samhället och människors ansvar för hur den används … konsekvenser….

Förekomst av ej tillämpbara lärandemål 1.1 =9 (20%) (granskarspecifikt/programspecifikt) 1.3 =4 (8%) (snudd på programspecifikt) 2.2 =5 (10%) (granskarspecifikt/programspecifikt) 2.4 =6 (12%) (snudd på programspecifikt) 2.5 =15 (29%) (förekommer på 5 program) 2.6 =18 (35%) (förekommer på 6 program) 3.1 =11 (22%) (förekommer på 4 program) 3.2 =16 (31%) (förekommer på 4 program) 3.3 =22 (43%) (förekommer på 7 program) 3.4 =10 (20%) (snudd på programspecifikt)

Lärandemål som tillgodoses (?) i andra kurser i programmen 2.5 visa förmåga att utveckla och utforma produkter, processer och system med hänsyn till människors förutsättningar och behov och samhällets mål för ekonomiskt, socialt och ekologiskt hållbar utveckling, 2.6 visa förmåga till lagarbete och samverkan i grupper med olika sammansättning, 3.1 Visa förmåga att göra bedömningar med hänsyn till relevant vetenskapliga, samhälleliga och etiska aspekter samt visa medvetenhet om etiska aspekter på forsknings- och utvecklingsarbete. 3.2 Visa insikt i teknikens möjligheter och begränsningar, dess roll i samhället och människors ansvar för hur den används, inbegripet sociala, ekonomiska, miljömässiga och arbetsmiljömässiga konsekvenser. 3.3 Visa insikt om och förmåga till lagarbete och samverkan i grupper med olika sammansättning.

Förslag till beslut Rekommendation om att alla kursplaner för examensarbeten skall relatera kursmålen till lärandemål 1.2, 2.1, 2.3 samt 2.7 Rekommendera att i de fall lärandemålen 1.3, 2.4, 2.5, 3.1 samt 3.2 ej är behandlade i andra kurser i utbildningsplanen skall även kursmålen för examensarbeten relatera till dessa i relevant utsträckning Rekommendera att självständigt arbete tydligt framgår i kursplanen och att en individuell bedömning görs samt att kriterierna framgår.

Erfarenheterna över vilka lärandemål som tydligast ej identifierats i examensarbetena används i TUT-projektet och vid översyn av matriserna för att säkerställa att dessa lärandemål kan identifieras vid HSV:s granskning av civing/hingprogrammen ht 2012.

TUT = Tekniska UTbildningsvärderingar Förenklad självvärdering vid fyra berörda institutioner genomförs. Analys av självvärderingar (renderar i rekommendationer och åtgärdsförslag). Pilotprojektet skapar förutsättningar för väl genomförd utbildningsutvärdering initierad av HSV ht 2012.

Aktiviteter 30 januari upptaktsseminarium med repr. från KTH Förenklad självvärdering från mitten på jan till mitten på mars med bl a självvärderingsstuga varje onsdag kl Frivillig tjänstemannagranskning början/mitten på mars Inlämning 28 mars kl Studentgranskning/lärargranskning i anslutning till Programråd i början på lp 4 Analys av självvärderingarna Workshop 4-5 juni inklusive återkoppling till UL-ar Slutrapport till TFN i sept

1 Presentera utbildning i korthet Högskoleverkets (HSV) självvärdering innefattar detta.  ½ sida. 2 Beskriv och analysera lärandeprocess HSVs självvärdering berör detta när måluppfyllelse ska tydliggöras.  ½ sida. 3 Beskriv och analysera resultat i form av läranderesultat/ måluppfyllnad HSVs självvärdering viktigaste del är hur måluppfyllelse tydliggörs, exemplifieras, värderas och analyseras.  2 sidor. 4 Beskriv och analysera utbildningens användbarhet Regeringen är tydlig med vikten av detta.  ½ sida. 5 Beskriv studenternas nöjdhet HSVs självvärdering berör detta indirekt när måluppfyllelse ska tydliggöras. Mindre än ½ sida. 6 Sammanfattande slutsatser  ½ sida till text.

Inför workshop UL läser självvärderingstexter från tre andra institutioner och: reflekterar över hur texten kan förstås, kommer budskapet fram även till dig som inte tillhör den granskade institutionen/programmet? vilka goda exempel på beskrivningar/formuleringar ser du på respektive punkt från de texter du läser och din egen text? Hur har andra uttryckt sig speciellt kring hur lärandemålen uppfylls/hanteras? (Här kan din text likaväl som någon annans text vara ”bäst” under respektive punkt) vilka egna förbättringsområden av Din självvärderingstext har du identifierat? (här kan du också nyttja dina studenters/lärares synpunkter).

Valda mål för HING Program Bilsystemteknikxx Brandingenjör x x Datateknik x x Datorspelsteknik Teknisk design xx Totalt valda mål

Valda mål för Civ ing Program Arkitekturx x Datateknik x x EEIGMx x Hållbar energiteknik xx Industriell ekonomix x Industriell miljö- och processteknik xx Maskinteknikx x Naturresursteknik x x Rymdteknik x x Tekniks design x x Teknisk fysik och elektroteknik x x Väg och vattenbyggnad x x Totalt valda mål

Workshop 4-5 juni visa på de identifierade goda exemplen, analysera och värdera dem se utvecklingsmöjligheter för de egna texterna ge en spegling av vad en träff med rektor i skarpt läge kan tänkas handla om och hur det påverkar de slutliga formuleringarna av texter exemplet Nationalekonomi den skarpa utvärderingens tidplan