Strukturerad feedback till studenter i allmänmedicinsk praktik tre års erfarenhet av ett bedömningsinstrument Ann-Christin Haffling, IKVM – allmänmedicin.

En presentation över ämnet: "Strukturerad feedback till studenter i allmänmedicinsk praktik tre års erfarenhet av ett bedömningsinstrument Ann-Christin Haffling, IKVM – allmänmedicin."— Presentationens avskrift:

1 Strukturerad feedback till studenter i allmänmedicinsk praktik tre års erfarenhet av ett bedömningsinstrument Ann-Christin Haffling, IKVM – allmänmedicin Anders Beckman, IKVM – allmänmedicin Gudrun Edgren, MedCUL

2 Bakgrund - WPBA Workplace-based assessment innebär
direkt observation av studenterna i deras kliniska arbete formativ bedömning feedback fokuserad på beteende deskriptiv specifik och konkret relaterad till mål (för kursen och personliga)

3 Bakgrund - WPBA Workplace-based assessment
har stor betydelse för studenternas utveckling (Norcini & Burch 2007) görs alldeles för sällan (Kogan & Hauer 2006) pga. lågt handledarintresse (Norcini & Burch 2007) - kan öka genom strukturerade bedömningsinstrument (t.ex. Mini-CEX) handledarmedverkan vid utveckling/planering (Daelmans et al. 2006) handledarutbildning (Shumway & Harden 2003) låg reliabilitet - kan stärkas genom (van der Vleuten 1996) bredd i kliniska problem och bedömare kompromiss reliabilitet formativ bedömning (van der Vleuten 1996) feedback studenternas lärande

4 Bakgrund – till studien
bedömnings- och feedbackformulär samlades in under sex terminer analys retrospektivt interaktiva feedbackmetoder studenternas självvärdering mål/handlingsplan uppföljande feedback

5 Syfte – att studera användningen av ett bedömningsinstrument i verkligheten under lång tid typ och innehåll av feedback handledarnas bedömningar studenternas självvärderingar handledarnas och studenternas nöjdhet

6 Metod Studenter T10 ”Samhällsmedicin” Lund/Malmö
16 dagars allmänmedicinsk praktik (4 dagar v.a.v.) 50-60 vårdcentraler Personlig handledare + övriga distriktsläkare på VC observerar (emellanåt) anamnes, status diskuterar hypoteser, problemlösning, utredning/ behandling deltar i avslutande patientsamtal med information/ uppföljning Feedback bör ges dagligen ”på språng” sammanfattande x 2 - efter halva tiden samt vid avslutning

7 Metod – obligatorisk feedback x 2
Första feedbacktillfället student + handledare fyller i bedömningsprotokoll feedbacksamtal mål och strategier för fortsatt träning på feedbackblad Andra feedbacktillfället uppföljande feedback på feedbackblad

8 Metod - Bedömningsprotokoll
lika för studenternas självvärdering + handledarnas bedömning inspirerat av modifierade LAP (Leicester Assessment Package) 8 delar /kompetenser detaljerade beskrivningar av varje del 7-gradig skala utvecklat i samråd med handledarna handledarutbildning

9 Metod - Bedömningsprotokoll
8 olika delar/kompetenser Samtalsmetodik Sjukhistoria Status Hypotesgenerering/hypotesprövning Problemlösning Åtgärd/behandling Information/ uppföljning Uppträdande/ patientrelation/ tidsdisposition

10 Metod - Feedbackblad lite olika för student och handledare information
utrymme för att skriva mål och strategier (första feedback) uppföljande feedback (andra feedback) utvärderingsfrågor till student och handledare

11 Metod – Dataanalys Kvantitativa data Kvalitativa data (mål + feedback)
Mann-Whitney U och Kruskal Wallis (SPSS) MlWin (’multi-level’) ”upprepade mätningar” Cronbach’s alpha (”internal consistency reliabilty”) Spearman’s correlationskoefficient (korrelation handledarnas bedömning och studenternas skrivningsresultat) Kvalitativa data (mål + feedback) Innehållsanalys (kategorisering) Ramverk (protokollets 8 kompetenser)

12 Resultat – studenter och handledare
55% kvinnor 50% vikarierat, lika mellan kön 151 handledare 58% kvinnor 28% deltog i handledarutbildning antal studenter efter 6 terminer student studenter studenter

13 Resultat – första feedbacktillfället Bedömningsformulär
Handledaromdömen (458 studenter): medelvärde 5,3 Självvärderingar (462 studenter): medelvärde 4,5 Höggradigt signifikant skillnad i alla delar Handledare högst: samtalsmetodik + uppträdande/patientrelation lägst: hypoteser + åtgärd/behandling Studenter högst: samtalsmetodik + anamnes

14 Resultat – första feedbacktillfället Bedömningsformulär
Manliga och kvinnliga studenter Manliga studenter signifikant högre i hypoteser, problemlösning, åtgärd/behandling Handledarna: ingen skillnad Vikariat eller ej Studenter som vikarierat signifikant högre i status, problemlösning och åtgärd/behandling Handledarna: status, åtgärd/behandling, information/uppföljning Antal använda omdömen (7-gradig skala) Studenter oftast 3 olika (47%) Handledare oftast 2 olika (56%)

15 Resultat – första feedbacktillfället Mål för fortsatt träning
88% specifika mål 6% generella mål 6% inga mål Specifika mål Medel 2,7 kompetenser/student Kompetenser (process) Samtalsmetodik (46% av studenter) Information/ uppföljning (40% av studenter) Varierade omdömen signifikant fler Kvinnliga studenter med kvinnlig handledare signifikant fler

16 Resultat – Andra feedbacktillfället
Uppföljande feedback 58% specifik feedback 32% av dessa även tips för framtiden 21% generell feedback 21% ingen feedback Specifik feedback Medel 2,8 kompetenser/student Kompetenser (process) Samtalsmetodik (55% av studenter) Information och uppföljning (43% av studenter)

17 Resultat – Studenternas utvärdering
Svarsfrekvens 89-93% Handledaren korrekt identifierat studentens styrkor/svagheter 77% helt, 20% delvis Studenter som fick specifika mål var signifikant mer nöjda Specifika råd om hur förbättra konsultationerna 70% helt, 26% delvis Effektiv uppföljande feedback 77% helt, 17% delvis Studenter som fick specifik uppföljande feedback var signifikant mer nöjda

18 Resultat – Handledarnas utvärdering
” Tycker du att bedömningsprotokollet bidragit till en förbättrad struktur i bedömningen av studentens konsultationer?” Efter 6 terminer: Svarsfrekvens 97% 76% helt nöjda, 23% delvis, 1% missnöjda Flera blev alltmer positiva genom åren

19 Resultat – Tid och erfarenhet
Specifika mål ökade signifikant från de tre första till de tre sista terminerna Specifik feedback Handledarnas erfarenhet studenter med handledare, som använde instrumentet för 4:e-6:e terminen fick lägre betyg än de, vars handledare använde det för 2:a-3:e och 1:a terminen men specifika mål/feedback ökade inte med erfarenhet Handledarnas ”nöjdhet” efter 6 terminer var signifikant större beroende på hur många studenter man handlett 4-12, 2-3 resp. 1 student

20 Resultat – Reliabilitet
”Internal consistency reliability” Cronbach’s alpha för varje termin 0,94-0,96; hela perioden 0,95 Interbedömarreliabilitet omöjligt att beräkna pga. sammanfattande feedback av personlig handledare

21 Resultat – Validitet ”Face” validity Content validity
medverkan av handledare i utveckling av bedömningsformuläret Content validity överensstämde med mål för praktiken Concurrent validity korrelation med skrivningen Spearman’s korrelationskoefficient 0.16; ökande till 0,34 om bara de 10% med lägst bedömning analyserades

22 Slutsatser Sammanfattande bedömning och feedback fungerar
vid längre tids placering personlig ansvarig handledare 99% studenter bedömda efter protokollet 88% fick specifika mål dokumenterade och 58% fick specifik feedback dokumenterad men inom andra kompetenser än de som bedömts som sämst

23 Slutsatser Utvärderingar positiva Med tid och erfarenhet
av studenter – föredrog specifika mål/feedback och handledare Med tid och erfarenhet fick större andel studenter specifika mål och specifik feedback handledarna blev ”strängare” men också nöjdare med strategin Förbättrad ”feedbackkultur” på vårdcentralen