Bedömning av professionell kompetens Anders Jönsson

Summativ funktion Hur kan man bedöma studenters kompetens, dels för att kontrollera vad de kan, dels för att hjälpa dem utvecklas vidare? Formativ funktion

Vad är kompetens? Kompetens = formella kvalifikationer? Kompetens = teoretiska kunskaper? Kompetens = praktiska kunskaper? Kompetens = personliga egenskaper?

Vad är kompetens? Kompetens = kunskaper + färdigheter + förhållningssätt

Hur bedömer man kompetens? The whole process of becoming competent in any field must be divided into a very large number of very small steps, and reinforcement must be contingent upon the accomplishment of each step (Skinner, 1996/1954, p. 206).

Hur bedömer man kompetens? When assessing competency, it could be argued that if we want to know how well somebody can perform a certain task, the most natural thing would be to ask her to do it, and then assess her performance (Kane, Crooks, & Cohen, 1999).

Hur bedömer man kompetens? Bedömning Observation av prestation Omdöme på enskild uppgift Gynnas av korta, väldefinierade uppgifter med begränsat svarsutrymme Från Kane et al. (1999)

Hur bedömer man kompetens? Generalisering Omdöme på enskilda uppgifter Andra likartade uppgifter Gynnas av många likartade uppgifter Från Kane et al. (1999)

Hur bedömer man kompetens? Extrapolering Andra likartade uppgifter Mål Gynnas av närhet mellan uppgifter och mål (dvs. autencitet) Från Kane et al. (1999)

Hur bedömer man kompetens? Bedömning Generalisering Extrapolering Observation av prestation Omdöme på enskild uppgift Andra likartade uppgifter Mål Från Kane et al. (1999)

Hur bedömer man kompetens? Bedömning Generalisering Extrapolering ? ? Observation av prestation Omdöme på enskild uppgift Andra likartade uppgifter Mål Svårt att bedöma autentiska uppgifter Svårt att hinna med (och standardisera) många likartade uppgifter Från Kane et al. (1999)

Hur bedömer man kompetens? Bedömning Generalisering Extrapolering ? ? Observation av prestation Omdöme på enskild uppgift Andra likartade uppgifter Mål Få (ej systematiska) observationstillfällen Utgår inte från mål eller kriterier Bedömning subjektiv och godtycklig Från Hegender (2010); Jönsson & Mattsson (2011)

Hur bedömer man kompetens? Prov är ju åtminstone likvärdiga och rättsäkra.  Annars blir det så flummigt.

Hur bedömer man kompetens? Undervisning ”Backwash”

Hur bedömer man kompetens? Man KAN INTE formulera mål och kriterier för ett så komplext arbete.  Ja, bedömningen är personlig och måste vara det i det här fallet. Vissa saker går inte att specificera på förhand. Man får diskutera och reflektera efteråt istället.

Hur bedömer man kompetens? Jag vill gärna ta ansvar och utvecklas, men hur vet jag vad som krävs? Jag är inte överens med min mentor, men det är hon som sätter betyg så jag måste lista ut hur hon vill att jag ska göra.

Hur bedömer man kompetens? Man kan inte formulera kriterier för allt, men för viktiga kvaliteter  Man kan använda flera olika bedömningsformer Kunskaper går inte att MÄTA, men de går att uppskatta Språket är centralt för vårt lärande. ”Tyst kunskap” är svår att reflektera kring och vidareutveckla

Hur bedömer man kompetens? Bedömning Generalisering Extrapolering ? ? Observation av prestation Omdöme på enskild uppgift Andra likartade uppgifter Mål Bedömnings-matriser kan ge högre pålitlighet. Systematisk ”task-sampling”; IT-stöd och simuleringar Kompetens-bedömnings-program

Summativ funktion Hur kan man bedöma studenters kompetens, dels för att kontrollera vad de kan, dels för att hjälpa dem utvecklas vidare? Formativ funktion

Var befinner sig eleven? Hur ska eleven ta sig vidare? Hur hjälper man studenterna att utveckla sin kompetens m.h.a. bedömningen? Vart är eleven på väg? Var befinner sig eleven? Hur ska eleven ta sig vidare? Läraren behöver: Kommunicera förväntningar, i form av mål och kriterier Bedöma var eleverna befinner sig i förhållande till målet Ge feedback som hjälper eleverna framåt Kamraterna behöver: Förstå och kommunicera förväntningar Utnyttja varandra som resurser för deras lärande Eleven behöver: Förstå förväntningar Stöd för att kunna ta ansvar för sitt eget lärande T.ex. matriser och exempel Från Wiliam & Thompson(2007)

Uppgift

Analys av simulerade klassrumssituationer Uppgift Analys av simulerade klassrumssituationer Tre uppgifter: Observation Analys Åtgärd Från Jönsson (2008)

Beskriv situationen objektivt utan förutfattade meningar Uppgift Analys av simulerade klassrumssituationer Tre uppgifter: Observation Analys Åtgärd Beskriv situationen objektivt utan förutfattade meningar Från Jönsson (2008)

Varför agerar personerna i filmen som de gör? Uppgift Analys av simulerade klassrumssituationer Tre uppgifter: Observation Analys Åtgärd Varför agerar personerna i filmen som de gör? Från Jönsson (2008)

Vad bör läraren i filmen göra? Uppgift Analys av simulerade klassrumssituationer Tre uppgifter: Observation Analys Åtgärd Vad bör läraren i filmen göra? Från Jönsson (2008)

Uppgift

Jämförelse med professionell analys Uppgift Jämförelse med professionell analys Tre uppgifter: Vilka skillnader kan du identifiera? Vilka styrkor och utvecklingsbehov kan du se utifrån jämförelsen? Hur kan du stärka dina utvecklingsbehov? Från Jönsson (2008)

Bedöma Från Jönsson (2008)

Från Jönsson (2008)   Generalisera Film: Tidigare 1 Tidigare 2 Nivå Aspect Kriter. Ej G. Godt. Bättre O b s e r v a t i o n 1   2 3 4 A n a l y s Från Jönsson (2008)

2004 2005/06  Exempel Från Jönsson(2010) Matris Matris Ex. 3 Ex. 1 Kommunicera förväntningar Matris ————— ——— 2004 2005/06 Matris ————— ——— Ex. 3  Ex. 1 Ex. 2 Exempel Från Jönsson(2010)

Kommunicera förväntningar Från Jönsson(2010)

Från Jönsson(2010) År Medelpoäng (SD) Skillnad(%) Effekt (d) 2004 Kommunicera förväntningar År Medelpoäng (SD) Skillnad(%) Effekt (d) 2004 2,62 (0.48) 62,0 3,21*** 2005 4,24 (0.54) 3,6 0,27* 2006 4,38 (0.56) + Exempel Ingen förändring Från Jönsson(2010)

Var befinner sig eleven? Hur ska eleven ta sig vidare? Vart är eleven på väg? Var befinner sig eleven? Hur ska eleven ta sig vidare? Läraren behöver: Kommunicera förväntningar, i form av mål och kriterier Bedöma var eleverna befinner sig i förhållande till målet Ge feedback som hjälper eleverna framåt Kamraterna behöver: Förstå och kommunicera förväntningar Utnyttja varandra som resurser för deras lärande Eleven behöver: Förstå förväntningar Stöd för att kunna ta ansvar för sitt eget lärande Valida uppgifter som ger nyanserad information Från Wiliam & Thompson(2007)

Var befinner sig eleven? Hur ska eleven ta sig vidare? Vart är eleven på väg? Var befinner sig eleven? Hur ska eleven ta sig vidare? Läraren behöver: Kommunicera förväntningar, i form av mål och kriterier Bedöma var eleverna befinner sig i förhållande till målet Ge feedback som hjälper eleverna framåt Kamraterna behöver: Förstå och kommunicera förväntningar Utnyttja varandra som resurser för deras lärande Eleven behöver: Förstå förväntningar Stöd för att kunna ta ansvar för sitt eget lärande Konstruktiv och integrerad feedback Från Wiliam & Thompson(2007)

Feedback på olika nivå: Uppgiftsnivå t.ex. faktafel Processnivå t.ex. hur nästa uppgift ska bli bättre Metakognitiv nivå t.ex. hur ska jag hantera den feedback jag får Personlig nivå t.ex. ospecificerat beröm Från Hattie & Timperley (2007)

Från Jönsson (2010)

Från Jönsson (2010) Saknar utbildning Ingen koppling till mål och kriterier Endast feedback, ingen feed-forward Uttrycker makt och auktoritet Saknar strategier för att använda feedback Ges tillsammans med betyg Ges för sent Från Jönsson (2010)

Från Pryor & Crossouard(2010)

Var befinner sig eleven? Hur ska eleven ta sig vidare? Vart är eleven på väg? Var befinner sig eleven? Hur ska eleven ta sig vidare? Läraren behöver: Kommunicera förväntningar, i form av mål och kriterier Bedöma var eleverna befinner sig i förhållande till målet Ge feedback som hjälper eleverna framåt Kamraterna behöver: Förstå och kommunicera förväntningar Utnyttja varandra som resurser för deras lärande Eleven behöver: Förstå förväntningar Stöd för att kunna ta ansvar för sitt eget lärande ”Kamratbedömning” Från Wiliam & Thompson(2007)

Bedömning av kommunikation med patient Uppgift Bedömning av kommunikation med patient Tandläkarprogrammet

Bedömning av kommunikation med patient Tandläkarprogrammet

Bedömning av kommunikation med patient Generalisera Bedömning av kommunikation med patient Tandläkarprogrammet

Var befinner sig eleven? Hur ska eleven ta sig vidare? Vart är eleven på väg? Var befinner sig eleven? Hur ska eleven ta sig vidare? Läraren behöver: Kommunicera förväntningar, i form av mål och kriterier Bedöma var eleverna befinner sig i förhållande till målet Ge feedback som hjälper eleverna framåt Kamraterna behöver: Förstå och kommunicera förväntningar Utnyttja varandra som resurser för deras lärande Eleven behöver: Förstå förväntningar Stöd för att kunna ta ansvar för sitt eget lärande Självbedömning Från Wiliam & Thompson(2007)

Frågor: Var är jag nu. Starka sidor, svaga sidor Frågor: Var är jag nu? Starka sidor, svaga sidor? Hur ska jag göra för att bli bättre…? Matris ————— ——— Kriterium 1 Mål ————— ——— Kriterium 2 Kriterium 3 Ex. 3  Ex. 1 Ex. 2 Bedömda exempel

Feedback 5 4 5 Från Jönsson (2008)

Självvärdering Från Jönsson (2008)

Jämförelse med professionell analys Självbedömning Jämförelse med professionell analys Tre uppgifter: Vilka skillnader kan du identifiera? Vilka styrkor och utvecklingsbehov kan du se utifrån jämförelsen? Hur kan du stärka dina utvecklingsbehov? Matris ————— ——— Ex. 3  Ex. 1 Ex. 2 Bedömda exempel