Utvärdering av projektet – hur vi har gjort och vad man ser Rickard Ulmestig, Linnéuniversitetet och Karin Pernebo, Barn och Ungdomspsykiatrin /Landstinget.

En presentation över ämnet: "Utvärdering av projektet – hur vi har gjort och vad man ser Rickard Ulmestig, Linnéuniversitetet och Karin Pernebo, Barn och Ungdomspsykiatrin /Landstinget."— Presentationens avskrift:

1 Utvärdering av projektet – hur vi har gjort och vad man ser Rickard Ulmestig, Linnéuniversitetet och Karin Pernebo, Barn och Ungdomspsykiatrin /Landstinget Kronoberg

2  Självutvärdering  Enkätundersökning  Teamet upplevelser av arbetssättet.

3 Definition Utvärdering innebär att prestationer, processer, eller effekter värderas till en eller flera kriterier som används som mått för vad som är en ”lyckad” insats. (Krogstrup 2003)

4 Vikten av en tydlig projektplan  Vilka är målen?  Vilka är målgrupp?  Vilka är (de mätbara) kriterierna för framgång?  Med hjälp av vilket arbetssätt planerar man att uppnå målen?

5 Vad är en självutvärdering ?  En intern produkt  Problemställning med relevans för praktiken  Underlättar implementering av resultat  Ökar kompetensen att utföra och beställa utvärderingar

6 Vad är en själv- utvärdering mera ?  Introvert  Egna intressen  En maktaspekt gentemot patient/klient och samverkansparter

7 Att använda styrkorna och minska riskerna med självutvärdering  Introvert – extern handledning gällande utvärderingsprocessen  Egna intressen – kritisk granskning  En maktaspekt gentemot patient/klient och samverkansparter – erbjuda anonymitet.

8 Enkät / Vinjett studien

9 Urval  Skola  Socialtjänst  Primärvård

10 327 svar på föremättning och 160 svar på eftermättning  Skola ca 50 %  Socialtjänst ca 30 %  Skola ca 20 % Strax över 50 procents svarsfrekvens

11 Hur många i eftermättning hade haft kontakt? 65 procent av de som svarade hade haft kontakt med teamet under projekttiden

12 Kontaktens karaktär AntalAndel i % Konsultation6158 Utbildningar3432 Annan kontakt10 Totaltn=105100

13 Kontakt syftade tillFöremätningEftermätning AntalAndel i %AntalAndel i % Remiss123416343 Rådfrågning i ärende102345739 Möte i ärende140477450 Upprepade möte i ärende57193222 Annat48162114 Totalt n=297n=147 Om kontakt med BUP de senaste fem åren, vad syftade den till?

14 FöremätningEftermätning AntalAndel i %AntalAndel i % Instämmer helt83106 Instämmer delvis105328453 Vet ej/obestämd112342918 Instämmer inte88273019 Instämmer inte alls 14474 Totalt 327100160100 Det är lätt att få stöd och tips i arbetet med enskilda barn och ungdomar

15 FöremätningEftermätning AntalAndel i %AntalAndel i % Instämmer helt1131811 Instämmer delvis65205333 Vet ej/obestämd132405333 Instämmer inte104323321 Instämmer inte alls 15532 Totalt 327100160100 ”Det är lätta att engagera BUP för en serie av konsultationer i arbetet med enskilda barn och unga”.

16 Föremätning n =327 Värdefullt Ej värdefullt AntalAndel i %AntalAndel i % Snabbt55175216 Lång tid178544213 Eftermätning n = 163 Värdefullt Ej värdefullt AntalAndel i %AntalAndel i % Snabbt43272516 Lång tid8050127 Tid och upplevelse av kontakt

17 Vinjetter Inga skillnader mellan före- och eftermätning (eller mellan fallen)

18 Enkät / Vinjett studien - resultat  Vi hittar inga tydliga skillnader mellan mättningarna i hur respondenterna beskriver sin kontakt med BUP.  Det finns ett visst belägg för att attityderna till BUP har blivit mer positiva och något mindre negativa  Inget tyder på att sättet att förhålla sig till unga med barn och ungdomspsykiatrisk problematik har förändrats

19 Har vi uppnått våra mål?

20 Det första målet – ökad kompetens Det andra målet – ökad tillgänglighet Det tredje målet – att blicka framåt

21 Det första målet – ökad kompetens genom: KonsultationernaUtbildningssatsningen Samverkan med andra på basnivå

22 Har vi uppnått ökad kompetens? - För och eftermätningen visar inte på ökad kompetens Vårt sätt att mäta fångar inte någon förändring.

23 Har vi uppnått ökad kompetens? - Konsultationernas effekt? Direkt feed-back framhåller att ny kunskap erhållits, den egna kompetensen stärkts, egna resurser tillvaratagits, nya perspektiv och nytt synsätt vidgat den egna repertoaren. - Utbildningssatsningens effekt? Fler har tagit del av utbildningen - kunskap spridits till fler än de vi konsulterat. - Effekt av ökad samverkan med andra på basnivå? För få konsultationer med mer än en verksamhet närvarande gör det omöjligt att uttala sig om samverkan bidragit till ökad kompetens.

24 Det andra målet – ökad tillgänglighet genom: att informera om vår verksamhet på ett utåtriktat sätt. att underlätta kontakt med oss - hemsida, mail och mobiltelefon. att boka tid snabbt och åka ut i verksamheter – flexibilitet och mobilitet i tid och rum.

25 Har vi uppnått ökad tillgänglighet? För- och eftermätningen visar en attitydförändring En upplevelse av förbättrad tillgänglighet till BUP och av att det är mer positivt att ha kontakt med BUP. Feed-back från de vi konsulterat visar på att vi är lätta att nå och att tillgängligheten i tid och rum värdesatts.

26 Utvärderings metoden Hur har det varit att arbeta med utvärdering som en integrerad del av arbetsprocessen ?

27 Utvärderings metoden Extern utvärderare, handledare Ökad kvalitet, ökad möjlighet tänka kritiskt kring det egna arbetet. Ökad kvalitet, ökad möjlighet tänka kritiskt kring det egna arbetet. Extern utvärderare, web enkät Inga tydliga svar i form av effektmått. Viktig information om hur samarbetspartners ser på barn- och ungdomspsykiatrin och på hur samarbetet fungerar

28 Utvärderings metoden  Deskriptiv del Ledstång. Utvärdering och arbetsprocess integrerade ivarandra, ömsesidigt påverkande.  Gemensam rapport Fördjupning av tänkandet, ökad förståelse, vidare perspektiv teoretiskt, metodologiskt, samhälleligt, historiskt