Presentation laddar. Vänta.

Presentation laddar. Vänta.

Strukturerad feedback till studenter i allmänmedicinsk praktik tre års erfarenhet av ett bedömningsinstrument Ann-Christin Haffling, IKVM – allmänmedicin.

Liknande presentationer


En presentation över ämnet: "Strukturerad feedback till studenter i allmänmedicinsk praktik tre års erfarenhet av ett bedömningsinstrument Ann-Christin Haffling, IKVM – allmänmedicin."— Presentationens avskrift:

1 Strukturerad feedback till studenter i allmänmedicinsk praktik tre års erfarenhet av ett bedömningsinstrument Ann-Christin Haffling, IKVM – allmänmedicin Anders Beckman, IKVM – allmänmedicin Gudrun Edgren, MedCUL

2 Bakgrund - WPBA Workplace-based assessment innebär  direkt observation av studenterna i deras kliniska arbete  formativ bedömning  feedback  fokuserad på beteende  deskriptiv  specifik och konkret  relaterad till mål (för kursen och personliga)

3 Bakgrund - WPBA Workplace-based assessment  har stor betydelse för studenternas utveckling (Norcini & Burch 2007)  görs alldeles för sällan (Kogan & Hauer 2006) pga.  lågt handledarintresse (Norcini & Burch 2007) - kan öka genom  strukturerade bedömningsinstrument (t.ex. Mini-CEX)  handledarmedverkan vid utveckling/planering (Daelmans et al. 2006)  handledarutbildning (Shumway & Harden 2003)  låg reliabilitet - kan stärkas genom (van der Vleuten 1996)  bredd i kliniska problem och bedömare  kompromiss reliabilitet formativ bedömning (van der Vleuten 1996)  feedback  studenternas lärande

4 Bakgrund – till studien  bedömnings- och feedbackformulär samlades in under sex terminer  analys retrospektivt  interaktiva feedbackmetoder  studenternas självvärdering  mål/handlingsplan  uppföljande feedback

5 Syfte – att studera  användningen av ett bedömningsinstrument i verkligheten  under lång tid  typ och innehåll av feedback  handledarnas bedömningar  studenternas självvärderingar  handledarnas och studenternas nöjdhet

6 Metod  Studenter T10 ”Samhällsmedicin” Lund/Malmö  16 dagars allmänmedicinsk praktik (4 dagar v.a.v.)  vårdcentraler  Personlig handledare + övriga distriktsläkare på VC  observerar (emellanåt) anamnes, status  diskuterar hypoteser, problemlösning, utredning/ behandling  deltar i avslutande patientsamtal med information/ uppföljning  Feedback bör ges  dagligen ”på språng”  sammanfattande x 2 - efter halva tiden samt vid avslutning

7 Metod – obligatorisk feedback x 2  Första feedbacktillfället  student + handledare fyller i bedömningsprotokoll  feedbacksamtal  mål och strategier för fortsatt träning på feedbackblad  Andra feedbacktillfället  uppföljande feedback på feedbackblad

8 Metod - Bedömningsprotokoll  lika för studenternas självvärdering + handledarnas bedömning  inspirerat av modifierade LAP (Leicester Assessment Package)  8 delar /kompetenser  detaljerade beskrivningar av varje del  7-gradig skala  utvecklat i samråd med handledarna  handledarutbildning

9 Metod - Bedömningsprotokoll 8 olika delar/kompetenser  Samtalsmetodik  Sjukhistoria  Status  Hypotesgenerering/hypotesprövning  Problemlösning  Åtgärd/behandling  Information/ uppföljning  Uppträdande/ patientrelation/ tidsdisposition

10 Metod - Feedbackblad  lite olika för student och handledare  information  utrymme för att skriva  mål och strategier (första feedback)  uppföljande feedback (andra feedback)  utvärderingsfrågor till student och handledare

11 Metod – Dataanalys  Kvantitativa data  Mann-Whitney U och Kruskal Wallis (SPSS)  MlWin (’multi-level’) ”upprepade mätningar”  Cronbach’s alpha (”internal consistency reliabilty”)  Spearman’s correlationskoefficient (korrelation handledarnas bedömning och studenternas skrivningsresultat)  Kvalitativa data (mål + feedback)  Innehållsanalys (kategorisering)  Ramverk (protokollets 8 kompetenser)

12 Resultat – studenter och handledare  464 studenter  55% kvinnor  50% vikarierat, lika mellan kön  151 handledare  58% kvinnor  28% deltog i handledarutbildning  antal studenter efter 6 terminer  student  studenter  studenter

13 Resultat – första feedbacktillfället Bedömningsformulär  Handledaromdömen (458 studenter): medelvärde 5,3  Självvärderingar (462 studenter): medelvärde 4,5  Höggradigt signifikant skillnad i alla delar  Handledare  högst: samtalsmetodik + uppträdande/patientrelation  lägst: hypoteser + åtgärd/behandling  Studenter  högst: samtalsmetodik + anamnes  lägst: hypoteser + åtgärd/behandling

14 Resultat – första feedbacktillfället Bedömningsformulär Manliga och kvinnliga studenter  Manliga studenter signifikant högre i hypoteser, problemlösning, åtgärd/behandling  Handledarna: ingen skillnad Vikariat eller ej  Studenter som vikarierat signifikant högre i status, problemlösning och åtgärd/behandling  Handledarna: status, åtgärd/behandling, information/uppföljning Antal använda omdömen (7-gradig skala)  Studenter oftast 3 olika (47%)  Handledare oftast 2 olika (56%)

15 Resultat – första feedbacktillfället Mål för fortsatt träning Mål för fortsatt träning  88% specifika mål  6% generella mål  6% inga mål Specifika mål  Medel 2,7 kompetenser/student  Kompetenser (process)  Samtalsmetodik (46% av studenter)  Information/ uppföljning (40% av studenter)  Varierade omdömen signifikant fler  Kvinnliga studenter med kvinnlig handledare signifikant fler

16 Resultat – Andra feedbacktillfället Uppföljande feedback  58% specifik feedback  32% av dessa även tips för framtiden  21% generell feedback  21% ingen feedback Specifik feedback  Medel 2,8 kompetenser/student  Kompetenser (process)  Samtalsmetodik (55% av studenter)  Information och uppföljning (43% av studenter)

17 Resultat – Studenternas utvärdering Svarsfrekvens 89-93%  Handledaren korrekt identifierat studentens styrkor/svagheter  77% helt, 20% delvis  Studenter som fick specifika mål var signifikant mer nöjda  Specifika råd om hur förbättra konsultationerna  70% helt, 26% delvis  Effektiv uppföljande feedback  77% helt, 17% delvis  Studenter som fick specifik uppföljande feedback var signifikant mer nöjda

18 Resultat – Handledarnas utvärdering ” Tycker du att bedömningsprotokollet bidragit till en förbättrad struktur i bedömningen av studentens konsultationer?” Efter 6 terminer:  Svarsfrekvens 97%  76% helt nöjda, 23% delvis, 1% missnöjda  Flera blev alltmer positiva genom åren

19 Resultat – Tid och erfarenhet  Specifika mål  ökade signifikant från de tre första till de tre sista terminerna  Specifik feedback  ökade signifikant från de tre första till de tre sista terminerna  Handledarnas erfarenhet  studenter med handledare, som använde instrumentet för 4:e-6:e terminen fick lägre betyg än de, vars handledare använde det för 2:a-3:e och 1:a terminen  men specifika mål/feedback ökade inte med erfarenhet  Handledarnas ”nöjdhet” efter 6 terminer  var signifikant större beroende på hur många studenter man handlett 4-12, 2-3 resp. 1 student

20 Resultat – Reliabilitet ”Internal consistency reliability”  Cronbach’s alpha för varje termin 0,94-0,96; hela perioden 0,95 Interbedömarreliabilitet  omöjligt att beräkna pga. sammanfattande feedback av personlig handledare

21 Resultat – Validitet  ”Face” validity  medverkan av handledare i utveckling av bedömningsformuläret  Content validity  överensstämde med mål för praktiken  Concurrent validity  korrelation med skrivningen  Spearman’s korrelationskoefficient 0.16; ökande till 0,34 om bara de 10% med lägst bedömning analyserades

22 Slutsatser  Sammanfattande bedömning och feedback fungerar  vid längre tids placering  personlig ansvarig handledare  99% studenter bedömda efter protokollet  88% fick specifika mål dokumenterade och  58% fick specifik feedback dokumenterad  men inom andra kompetenser än de som bedömts som sämst

23 Slutsatser  Utvärderingar positiva  av studenter – föredrog specifika mål/feedback  och handledare  Med tid och erfarenhet  fick större andel studenter specifika mål  och specifik feedback  handledarna blev ”strängare”  men också nöjdare med strategin  Förbättrad ”feedbackkultur” på vårdcentralen


Ladda ner ppt "Strukturerad feedback till studenter i allmänmedicinsk praktik tre års erfarenhet av ett bedömningsinstrument Ann-Christin Haffling, IKVM – allmänmedicin."

Liknande presentationer


Google-annonser