Bedömning av professionell kompetens

En presentation över ämnet: "Bedömning av professionell kompetens"— Presentationens avskrift:

1 Bedömning av professionell kompetens
Anders Jönsson

2 Summativ funktion Hur kan man bedöma studenters kompetens, dels för att kontrollera vad de kan, dels för att hjälpa dem utvecklas vidare? Formativ funktion

3 Vad är kompetens? Kompetens = formella kvalifikationer?
Kompetens = teoretiska kunskaper? Kompetens = praktiska kunskaper? Kompetens = personliga egenskaper?

4 Vad är kompetens? Kompetens = kunskaper + färdigheter förhållningssätt

5 Hur bedömer man kompetens?
The whole process of becoming competent in any field must be divided into a very large number of very small steps, and reinforcement must be contingent upon the accomplishment of each step (Skinner, 1996/1954, p. 206).

6 Hur bedömer man kompetens?
When assessing competency, it could be argued that if we want to know how well somebody can perform a certain task, the most natural thing would be to ask her to do it, and then assess her performance (Kane, Crooks, & Cohen, 1999).

7 Hur bedömer man kompetens?
Bedömning Observation av prestation Omdöme på enskild uppgift Gynnas av korta, väldefinierade uppgifter med begränsat svarsutrymme Från Kane et al. (1999)

8 Hur bedömer man kompetens?
Generalisering Omdöme på enskilda uppgifter Andra likartade uppgifter Gynnas av många likartade uppgifter Från Kane et al. (1999)

9 Hur bedömer man kompetens?
Extrapolering Andra likartade uppgifter Mål Gynnas av närhet mellan uppgifter och mål (dvs. autencitet) Från Kane et al. (1999)

10 Hur bedömer man kompetens?
Bedömning Generalisering Extrapolering Observation av prestation Omdöme på enskild uppgift Andra likartade uppgifter Mål Från Kane et al. (1999)

11 Hur bedömer man kompetens?
Bedömning Generalisering Extrapolering ? ? Observation av prestation Omdöme på enskild uppgift Andra likartade uppgifter Mål Svårt att bedöma autentiska uppgifter Svårt att hinna med (och standardisera) många likartade uppgifter Från Kane et al. (1999)

12 Hur bedömer man kompetens?
Bedömning Generalisering Extrapolering ? ? Observation av prestation Omdöme på enskild uppgift Andra likartade uppgifter Mål Få (ej systematiska) observationstillfällen Utgår inte från mål eller kriterier Bedömning subjektiv och godtycklig Från Hegender (2010); Jönsson & Mattsson (2011)

13 Hur bedömer man kompetens?
Prov är ju åtminstone likvärdiga och rättsäkra.  Annars blir det så flummigt.

14 Hur bedömer man kompetens?
Undervisning ”Backwash”

15 Hur bedömer man kompetens?
Man KAN INTE formulera mål och kriterier för ett så komplext arbete.  Ja, bedömningen är personlig och måste vara det i det här fallet. Vissa saker går inte att specificera på förhand. Man får diskutera och reflektera efteråt istället.

16 Hur bedömer man kompetens?
Jag vill gärna ta ansvar och utvecklas, men hur vet jag vad som krävs? Jag är inte överens med min mentor, men det är hon som sätter betyg så jag måste lista ut hur hon vill att jag ska göra.

17 Hur bedömer man kompetens?
Man kan inte formulera kriterier för allt, men för viktiga kvaliteter  Man kan använda flera olika bedömningsformer Kunskaper går inte att MÄTA, men de går att uppskatta Språket är centralt för vårt lärande. ”Tyst kunskap” är svår att reflektera kring och vidareutveckla

18 Hur bedömer man kompetens?
Bedömning Generalisering Extrapolering ? ? Observation av prestation Omdöme på enskild uppgift Andra likartade uppgifter Mål Bedömnings-matriser kan ge högre pålitlighet. Systematisk ”task-sampling”; IT-stöd och simuleringar Kompetens-bedömnings-program

19 Summativ funktion Hur kan man bedöma studenters kompetens, dels för att kontrollera vad de kan, dels för att hjälpa dem utvecklas vidare? Formativ funktion

20 Var befinner sig eleven? Hur ska eleven ta sig vidare?
Hur hjälper man studenterna att utveckla sin kompetens m.h.a. bedömningen? Vart är eleven på väg? Var befinner sig eleven? Hur ska eleven ta sig vidare? Läraren behöver: Kommunicera förväntningar, i form av mål och kriterier Bedöma var eleverna befinner sig i förhållande till målet Ge feedback som hjälper eleverna framåt Kamraterna behöver: Förstå och kommunicera förväntningar Utnyttja varandra som resurser för deras lärande Eleven behöver: Förstå förväntningar Stöd för att kunna ta ansvar för sitt eget lärande T.ex. matriser och exempel Från Wiliam & Thompson(2007)

21 Uppgift

22 Analys av simulerade klassrumssituationer
Uppgift Analys av simulerade klassrumssituationer Tre uppgifter: Observation Analys Åtgärd Från Jönsson (2008)

23 Beskriv situationen objektivt utan förutfattade meningar
Uppgift Analys av simulerade klassrumssituationer Tre uppgifter: Observation Analys Åtgärd Beskriv situationen objektivt utan förutfattade meningar Från Jönsson (2008)

24 Varför agerar personerna i filmen som de gör?
Uppgift Analys av simulerade klassrumssituationer Tre uppgifter: Observation Analys Åtgärd Varför agerar personerna i filmen som de gör? Från Jönsson (2008)

25 Vad bör läraren i filmen göra?
Uppgift Analys av simulerade klassrumssituationer Tre uppgifter: Observation Analys Åtgärd Vad bör läraren i filmen göra? Från Jönsson (2008)

26 Uppgift

27 Jämförelse med professionell analys
Uppgift Jämförelse med professionell analys Tre uppgifter: Vilka skillnader kan du identifiera? Vilka styrkor och utvecklingsbehov kan du se utifrån jämförelsen? Hur kan du stärka dina utvecklingsbehov? Från Jönsson (2008)

28 Bedöma Från Jönsson (2008)

29 Från Jönsson (2008)   Generalisera Film: Tidigare 1 Tidigare 2
Nivå Aspect Kriter. Ej G. Godt. Bättre O b s e r v a t i o n 1   2 3 4 A n a l y s Från Jönsson (2008)

30 2004 2005/06  Exempel Från Jönsson(2010) Matris Matris Ex. 3 Ex. 1
Kommunicera förväntningar Matris ————— ——— 2004 2005/06 Matris ————— ——— Ex. 3  Ex. 1 Ex. 2 Exempel Från Jönsson(2010)

31 Kommunicera förväntningar
Från Jönsson(2010)

32 Från Jönsson(2010) År Medelpoäng (SD) Skillnad(%) Effekt (d) 2004
Kommunicera förväntningar År Medelpoäng (SD) Skillnad(%) Effekt (d) 2004 2,62 (0.48) 62,0 3,21*** 2005 4,24 (0.54) 3,6 0,27* 2006 4,38 (0.56) + Exempel Ingen förändring Från Jönsson(2010)

33 Var befinner sig eleven? Hur ska eleven ta sig vidare?
Vart är eleven på väg? Var befinner sig eleven? Hur ska eleven ta sig vidare? Läraren behöver: Kommunicera förväntningar, i form av mål och kriterier Bedöma var eleverna befinner sig i förhållande till målet Ge feedback som hjälper eleverna framåt Kamraterna behöver: Förstå och kommunicera förväntningar Utnyttja varandra som resurser för deras lärande Eleven behöver: Förstå förväntningar Stöd för att kunna ta ansvar för sitt eget lärande Valida uppgifter som ger nyanserad information Från Wiliam & Thompson(2007)

34 Var befinner sig eleven? Hur ska eleven ta sig vidare?
Vart är eleven på väg? Var befinner sig eleven? Hur ska eleven ta sig vidare? Läraren behöver: Kommunicera förväntningar, i form av mål och kriterier Bedöma var eleverna befinner sig i förhållande till målet Ge feedback som hjälper eleverna framåt Kamraterna behöver: Förstå och kommunicera förväntningar Utnyttja varandra som resurser för deras lärande Eleven behöver: Förstå förväntningar Stöd för att kunna ta ansvar för sitt eget lärande Konstruktiv och integrerad feedback Från Wiliam & Thompson(2007)

35 Feedback på olika nivå: Uppgiftsnivå
t.ex. faktafel Processnivå t.ex. hur nästa uppgift ska bli bättre Metakognitiv nivå t.ex. hur ska jag hantera den feedback jag får Personlig nivå t.ex. ospecificerat beröm Från Hattie & Timperley (2007)

36 Från Jönsson (2010)

37 Från Jönsson (2010) Saknar utbildning
Ingen koppling till mål och kriterier Endast feedback, ingen feed-forward Uttrycker makt och auktoritet Saknar strategier för att använda feedback Ges tillsammans med betyg Ges för sent Från Jönsson (2010)

38 Från Pryor & Crossouard(2010)

39 Var befinner sig eleven? Hur ska eleven ta sig vidare?
Vart är eleven på väg? Var befinner sig eleven? Hur ska eleven ta sig vidare? Läraren behöver: Kommunicera förväntningar, i form av mål och kriterier Bedöma var eleverna befinner sig i förhållande till målet Ge feedback som hjälper eleverna framåt Kamraterna behöver: Förstå och kommunicera förväntningar Utnyttja varandra som resurser för deras lärande Eleven behöver: Förstå förväntningar Stöd för att kunna ta ansvar för sitt eget lärande ”Kamratbedömning” Från Wiliam & Thompson(2007)

40 Bedömning av kommunikation med patient
Uppgift Bedömning av kommunikation med patient Tandläkarprogrammet

41 Bedömning av kommunikation med patient
Tandläkarprogrammet

42 Bedömning av kommunikation med patient
Generalisera Bedömning av kommunikation med patient Tandläkarprogrammet

43 Var befinner sig eleven? Hur ska eleven ta sig vidare?
Vart är eleven på väg? Var befinner sig eleven? Hur ska eleven ta sig vidare? Läraren behöver: Kommunicera förväntningar, i form av mål och kriterier Bedöma var eleverna befinner sig i förhållande till målet Ge feedback som hjälper eleverna framåt Kamraterna behöver: Förstå och kommunicera förväntningar Utnyttja varandra som resurser för deras lärande Eleven behöver: Förstå förväntningar Stöd för att kunna ta ansvar för sitt eget lärande Självbedömning Från Wiliam & Thompson(2007)

44 Frågor: Var är jag nu. Starka sidor, svaga sidor
Frågor: Var är jag nu? Starka sidor, svaga sidor? Hur ska jag göra för att bli bättre…? Matris ————— ——— Kriterium 1 Mål ————— ——— Kriterium 2 Kriterium 3 Ex. 3  Ex. 1 Ex. 2 Bedömda exempel

45 Feedback 5 4 5 Från Jönsson (2008)

46 Självvärdering Från Jönsson (2008)

47 Jämförelse med professionell analys
Självbedömning Jämförelse med professionell analys Tre uppgifter: Vilka skillnader kan du identifiera? Vilka styrkor och utvecklingsbehov kan du se utifrån jämförelsen? Hur kan du stärka dina utvecklingsbehov? Matris ————— ——— Ex. 3  Ex. 1 Ex. 2 Bedömda exempel