Strukturerad feedback till studenter i allmänmedicinsk praktik tre års erfarenhet av ett bedömningsinstrument Ann-Christin Haffling, IKVM – allmänmedicin Anders Beckman, IKVM – allmänmedicin Gudrun Edgren, MedCUL

Bakgrund - WPBA Workplace-based assessment innebär direkt observation av studenterna i deras kliniska arbete formativ bedömning feedback fokuserad på beteende deskriptiv specifik och konkret relaterad till mål (för kursen och personliga)

Bakgrund - WPBA Workplace-based assessment har stor betydelse för studenternas utveckling (Norcini & Burch 2007) görs alldeles för sällan (Kogan & Hauer 2006) pga. lågt handledarintresse (Norcini & Burch 2007) - kan öka genom strukturerade bedömningsinstrument (t.ex. Mini-CEX) handledarmedverkan vid utveckling/planering (Daelmans et al. 2006) handledarutbildning (Shumway & Harden 2003) låg reliabilitet - kan stärkas genom (van der Vleuten 1996) bredd i kliniska problem och bedömare kompromiss reliabilitet formativ bedömning (van der Vleuten 1996) feedback studenternas lärande

Bakgrund – till studien bedömnings- och feedbackformulär samlades in under sex terminer analys retrospektivt interaktiva feedbackmetoder studenternas självvärdering mål/handlingsplan uppföljande feedback

Syfte – att studera användningen av ett bedömningsinstrument i verkligheten under lång tid typ och innehåll av feedback handledarnas bedömningar studenternas självvärderingar handledarnas och studenternas nöjdhet

Metod Studenter T10 ”Samhällsmedicin” Lund/Malmö 16 dagars allmänmedicinsk praktik (4 dagar v.a.v.) 50-60 vårdcentraler Personlig handledare + övriga distriktsläkare på VC observerar (emellanåt) anamnes, status diskuterar hypoteser, problemlösning, utredning/ behandling deltar i avslutande patientsamtal med information/ uppföljning Feedback bör ges dagligen ”på språng” sammanfattande x 2 - efter halva tiden samt vid avslutning

Metod – obligatorisk feedback x 2 Första feedbacktillfället student + handledare fyller i bedömningsprotokoll feedbacksamtal mål och strategier för fortsatt träning på feedbackblad Andra feedbacktillfället uppföljande feedback på feedbackblad

Metod - Bedömningsprotokoll lika för studenternas självvärdering + handledarnas bedömning inspirerat av modifierade LAP (Leicester Assessment Package) 8 delar /kompetenser detaljerade beskrivningar av varje del 7-gradig skala utvecklat i samråd med handledarna handledarutbildning

Metod - Bedömningsprotokoll 8 olika delar/kompetenser Samtalsmetodik Sjukhistoria Status Hypotesgenerering/hypotesprövning Problemlösning Åtgärd/behandling Information/ uppföljning Uppträdande/ patientrelation/ tidsdisposition

Metod - Feedbackblad lite olika för student och handledare information utrymme för att skriva mål och strategier (första feedback) uppföljande feedback (andra feedback) utvärderingsfrågor till student och handledare

Metod – Dataanalys Kvantitativa data Kvalitativa data (mål + feedback) Mann-Whitney U och Kruskal Wallis (SPSS) MlWin (’multi-level’) ”upprepade mätningar” Cronbach’s alpha (”internal consistency reliabilty”) Spearman’s correlationskoefficient (korrelation handledarnas bedömning och studenternas skrivningsresultat) Kvalitativa data (mål + feedback) Innehållsanalys (kategorisering) Ramverk (protokollets 8 kompetenser)

Resultat – studenter och handledare 55% kvinnor 50% vikarierat, lika mellan kön 151 handledare 58% kvinnor 28% deltog i handledarutbildning antal studenter efter 6 terminer 47 - 1 student 55 - 2-3 studenter 49 - 4-12 studenter

Resultat – första feedbacktillfället Bedömningsformulär Handledaromdömen (458 studenter): medelvärde 5,3 Självvärderingar (462 studenter): medelvärde 4,5 Höggradigt signifikant skillnad i alla delar Handledare högst: samtalsmetodik + uppträdande/patientrelation lägst: hypoteser + åtgärd/behandling Studenter högst: samtalsmetodik + anamnes

Resultat – första feedbacktillfället Bedömningsformulär Manliga och kvinnliga studenter Manliga studenter signifikant högre i hypoteser, problemlösning, åtgärd/behandling Handledarna: ingen skillnad Vikariat eller ej Studenter som vikarierat signifikant högre i status, problemlösning och åtgärd/behandling Handledarna: status, åtgärd/behandling, information/uppföljning Antal använda omdömen (7-gradig skala) Studenter oftast 3 olika (47%) Handledare oftast 2 olika (56%)

Resultat – första feedbacktillfället Mål för fortsatt träning 88% specifika mål 6% generella mål 6% inga mål Specifika mål Medel 2,7 kompetenser/student Kompetenser (process) Samtalsmetodik (46% av studenter) Information/ uppföljning (40% av studenter) Varierade omdömen signifikant fler Kvinnliga studenter med kvinnlig handledare signifikant fler

Resultat – Andra feedbacktillfället Uppföljande feedback 58% specifik feedback 32% av dessa även tips för framtiden 21% generell feedback 21% ingen feedback Specifik feedback Medel 2,8 kompetenser/student Kompetenser (process) Samtalsmetodik (55% av studenter) Information och uppföljning (43% av studenter)

Resultat – Studenternas utvärdering Svarsfrekvens 89-93% Handledaren korrekt identifierat studentens styrkor/svagheter 77% helt, 20% delvis Studenter som fick specifika mål var signifikant mer nöjda Specifika råd om hur förbättra konsultationerna 70% helt, 26% delvis Effektiv uppföljande feedback 77% helt, 17% delvis Studenter som fick specifik uppföljande feedback var signifikant mer nöjda

Resultat – Handledarnas utvärdering ” Tycker du att bedömningsprotokollet bidragit till en förbättrad struktur i bedömningen av studentens konsultationer?” Efter 6 terminer: Svarsfrekvens 97% 76% helt nöjda, 23% delvis, 1% missnöjda Flera blev alltmer positiva genom åren

Resultat – Tid och erfarenhet Specifika mål ökade signifikant från de tre första till de tre sista terminerna Specifik feedback Handledarnas erfarenhet studenter med handledare, som använde instrumentet för 4:e-6:e terminen fick lägre betyg än de, vars handledare använde det för 2:a-3:e och 1:a terminen men specifika mål/feedback ökade inte med erfarenhet Handledarnas ”nöjdhet” efter 6 terminer var signifikant större beroende på hur många studenter man handlett 4-12, 2-3 resp. 1 student

Resultat – Reliabilitet ”Internal consistency reliability” Cronbach’s alpha för varje termin 0,94-0,96; hela perioden 0,95 Interbedömarreliabilitet omöjligt att beräkna pga. sammanfattande feedback av personlig handledare

Resultat – Validitet ”Face” validity Content validity medverkan av handledare i utveckling av bedömningsformuläret Content validity överensstämde med mål för praktiken Concurrent validity korrelation med skrivningen Spearman’s korrelationskoefficient 0.16; ökande till 0,34 om bara de 10% med lägst bedömning analyserades

Slutsatser Sammanfattande bedömning och feedback fungerar vid längre tids placering personlig ansvarig handledare 99% studenter bedömda efter protokollet 88% fick specifika mål dokumenterade och 58% fick specifik feedback dokumenterad men inom andra kompetenser än de som bedömts som sämst

Slutsatser Utvärderingar positiva Med tid och erfarenhet av studenter – föredrog specifika mål/feedback och handledare Med tid och erfarenhet fick större andel studenter specifika mål och specifik feedback handledarna blev ”strängare” men också nöjdare med strategin Förbättrad ”feedbackkultur” på vårdcentralen