Utvärdering av projektet – hur vi har gjort och vad man ser Rickard Ulmestig, Linnéuniversitetet och Karin Pernebo, Barn och Ungdomspsykiatrin /Landstinget Kronoberg

 Självutvärdering  Enkätundersökning  Teamet upplevelser av arbetssättet.

Definition Utvärdering innebär att prestationer, processer, eller effekter värderas till en eller flera kriterier som används som mått för vad som är en ”lyckad” insats. (Krogstrup 2003)

Vikten av en tydlig projektplan  Vilka är målen?  Vilka är målgrupp?  Vilka är (de mätbara) kriterierna för framgång?  Med hjälp av vilket arbetssätt planerar man att uppnå målen?

Vad är en självutvärdering ?  En intern produkt  Problemställning med relevans för praktiken  Underlättar implementering av resultat  Ökar kompetensen att utföra och beställa utvärderingar

Vad är en själv- utvärdering mera ?  Introvert  Egna intressen  En maktaspekt gentemot patient/klient och samverkansparter

Att använda styrkorna och minska riskerna med självutvärdering  Introvert – extern handledning gällande utvärderingsprocessen  Egna intressen – kritisk granskning  En maktaspekt gentemot patient/klient och samverkansparter – erbjuda anonymitet.

Enkät / Vinjett studien

Urval  Skola  Socialtjänst  Primärvård

327 svar på föremättning och 160 svar på eftermättning  Skola ca 50 %  Socialtjänst ca 30 %  Skola ca 20 % Strax över 50 procents svarsfrekvens

Hur många i eftermättning hade haft kontakt? 65 procent av de som svarade hade haft kontakt med teamet under projekttiden

Kontaktens karaktär AntalAndel i % Konsultation6158 Utbildningar3432 Annan kontakt10 Totaltn=105100

Kontakt syftade tillFöremätningEftermätning AntalAndel i %AntalAndel i % Remiss Rådfrågning i ärende Möte i ärende Upprepade möte i ärende Annat Totalt n=297n=147 Om kontakt med BUP de senaste fem åren, vad syftade den till?

FöremätningEftermätning AntalAndel i %AntalAndel i % Instämmer helt83106 Instämmer delvis Vet ej/obestämd Instämmer inte Instämmer inte alls Totalt Det är lätt att få stöd och tips i arbetet med enskilda barn och ungdomar

FöremätningEftermätning AntalAndel i %AntalAndel i % Instämmer helt Instämmer delvis Vet ej/obestämd Instämmer inte Instämmer inte alls Totalt ”Det är lätta att engagera BUP för en serie av konsultationer i arbetet med enskilda barn och unga”.

Föremätning n =327 Värdefullt Ej värdefullt AntalAndel i %AntalAndel i % Snabbt Lång tid Eftermätning n = 163 Värdefullt Ej värdefullt AntalAndel i %AntalAndel i % Snabbt Lång tid Tid och upplevelse av kontakt

Vinjetter Inga skillnader mellan före- och eftermätning (eller mellan fallen)

Enkät / Vinjett studien - resultat  Vi hittar inga tydliga skillnader mellan mättningarna i hur respondenterna beskriver sin kontakt med BUP.  Det finns ett visst belägg för att attityderna till BUP har blivit mer positiva och något mindre negativa  Inget tyder på att sättet att förhålla sig till unga med barn och ungdomspsykiatrisk problematik har förändrats

Har vi uppnått våra mål?

Det första målet – ökad kompetens Det andra målet – ökad tillgänglighet Det tredje målet – att blicka framåt

Det första målet – ökad kompetens genom: KonsultationernaUtbildningssatsningen Samverkan med andra på basnivå

Har vi uppnått ökad kompetens? - För och eftermätningen visar inte på ökad kompetens Vårt sätt att mäta fångar inte någon förändring.

Har vi uppnått ökad kompetens? - Konsultationernas effekt? Direkt feed-back framhåller att ny kunskap erhållits, den egna kompetensen stärkts, egna resurser tillvaratagits, nya perspektiv och nytt synsätt vidgat den egna repertoaren. - Utbildningssatsningens effekt? Fler har tagit del av utbildningen - kunskap spridits till fler än de vi konsulterat. - Effekt av ökad samverkan med andra på basnivå? För få konsultationer med mer än en verksamhet närvarande gör det omöjligt att uttala sig om samverkan bidragit till ökad kompetens.

Det andra målet – ökad tillgänglighet genom: att informera om vår verksamhet på ett utåtriktat sätt. att underlätta kontakt med oss - hemsida, mail och mobiltelefon. att boka tid snabbt och åka ut i verksamheter – flexibilitet och mobilitet i tid och rum.

Har vi uppnått ökad tillgänglighet? För- och eftermätningen visar en attitydförändring En upplevelse av förbättrad tillgänglighet till BUP och av att det är mer positivt att ha kontakt med BUP. Feed-back från de vi konsulterat visar på att vi är lätta att nå och att tillgängligheten i tid och rum värdesatts.

Utvärderings metoden Hur har det varit att arbeta med utvärdering som en integrerad del av arbetsprocessen ?

Utvärderings metoden Extern utvärderare, handledare Ökad kvalitet, ökad möjlighet tänka kritiskt kring det egna arbetet. Ökad kvalitet, ökad möjlighet tänka kritiskt kring det egna arbetet. Extern utvärderare, web enkät Inga tydliga svar i form av effektmått. Viktig information om hur samarbetspartners ser på barn- och ungdomspsykiatrin och på hur samarbetet fungerar

Utvärderings metoden  Deskriptiv del Ledstång. Utvärdering och arbetsprocess integrerade ivarandra, ömsesidigt påverkande.  Gemensam rapport Fördjupning av tänkandet, ökad förståelse, vidare perspektiv teoretiskt, metodologiskt, samhälleligt, historiskt