”Hur vet vi att det blir bättre ”Hur vet vi att det blir bättre?” Utveckling av ett instrument för uppföljning av finansiell samordning av rehabiliteringsinsatser Berth Danermark, Örebro universitet Susanna Larsson Tholén, Örebro universitet Linköping 2015-09-29 2018-12-27

Samordningsförbundet Göteborg Hisingen 2018-12-27

Målsättning med projektet ”Hur vet vi att vi blir bättre?” Utveckla relevanta, begripliga, användbara, mätbara och mätsäkra indikatorer som ger information till samordningsförbunden om egen verksamhetsutveckling över tid, samt möjliggör jämförelser mellan samordningsförbund. Indikator = mätbar företeelse som visar eller indikerar tillståndet i ett system Indikatorerna skall synliggöra och spegla kvalitet (hur) och effektivitet (målnivåer) för god samverkan mellan parterna. Kvalitet = ”…alla sammantagna egenskaper hos en produkt eller tjänst som ger den dess förmåga att tillfredsställa uttalade eller underförstådda behov.” (sid. 10, Socialstyrelsen, 978-91-7555-199-9) ”Att sätta mål och följa upp dem tillhör de allra mest basala styrformerna av en verksamhet.” och målnivåer skall sättas i ”…förhållande till vad som faktiskt är möjligt eller rimligt att uppnå.” (sid. 2, Socialstyrelsen, Dnr 22497/2011) 2018-12-27

Detta har hänt… 137 indikatorer process- och effektindikatorer (2012-2013) 15 kärnindikatorer – konsensusförfarande (april 2014) DELTAGARE KÄNNER ATT DE INSATSER SOM ERBJUDS ÄR ORGANISERADE RUNT DERAS BEHOV DELTAGARNA UPPLEVER INFLYTANDE ÖVER REHABILITERINGS- PROCESSEN EN MÖJLIGHET ATT LÅTA REHABILITERINGSPROCESSEN FÅ TA DEN TID SOM BEHÖVS UTIFRÅN VARJE DELTAGARES FÖRUTSÄTTNINGAR 26 mätpunkter/frågor formulerats (sep-dec 2014) ”Jag får stödet på ett sätt som är till nytta för mig.” ”Jag är med och bestämmer vilket stöd som jag ska få.” ”Stödet jag får, får ta den tid som jag behöver.” 2018-12-27

Detta har hänt… Pilotundersökning (mars 2015 - mars 2016) Fem (5) enkäter samt plan för pilotundersökning utarbetats (mars-maj 2015) Enkäterna innehöll påståenden som… - deltagare (10 st) - personal (10 st) - förbundschefer (4 st) - styrelse (3 st) - parternas chefsgrupp (2 st) … skulle ta ställning till Mätning 1 genomförd (maj-juni 2015) 2018-12-27

Enkäterna Deltagarenkät Personalenkät Förbundschefsenkät Styrelseenkät Enkät till parternas chefsgrupp 2018-12-27

Enkäterna Deltagarenkät Personalenkät Förbundschefsenkät Styrelseenkät Enkät till parternas chefsgrupp 2018-12-27

Enkäterna Deltagarenkät Personalenkät Förbundschefsenkät Styrelseenkät Enkät till parternas chefsgrupp 2018-12-27

Enkäterna Deltagarenkät Personalenkät Förbundschefsenkät Styrelseenkät Enkät till parternas chefsgrupp 2018-12-27

Enkäterna Deltagarenkät Personalenkät Förbundschefsenkät Styrelseenkät Enkät till parternas chefsgrupp 2018-12-27

Till relevans, begriplighet, användbarhet, mätbarhet och mätsäkerhet För att nå relevans (validitet) Generell utgångspunkt vid framtagandet av (kärn)indikatorer och mätpunkter/frågor Bred förankring och representation av kompetens och olika perspektiv. Representanter från brukare/brukarorganisationer, samordningsförbunden, Försäkringskassan, Arbetsförmedlingen, kommuner, landsting/regioner, politiken. 2018-12-27

Uppnådd relevans (validitet) Input - hur de 137 indikatorförslagen togs fram Kärnindikatorerna – hur de togs fram (konsensuskonferens) 2018-12-27

Principen (modell efter WHO) 2018-12-27

Om Konsensuskonferensen – april 2014 ”Even if minority positions are accepted it should be kept in mind that a consensus conference in essence is an attempt to explore how far a diverse group of people can ‘travel together’ on a controversial topic.” Nielsen, A., Hansen, J., Skorupinski, B., Ingensiep, H-W., Baranzke, H., Lassen, J. och Sandoe, P. (2006) Consensus Conference. Manual. Sid 33. 2018-12-27

Uppnådd relevans och begriplighet Sju workshops (sept 2014) Brett diskuterat och förankrat relevansen av kärnindikatorerna (antal=140) Mätpunkter/frågor - hur de togs fram Webbenkät (okt 2014) (antal=166) Vilka mått/sätt att mäta anser du kan användas för att fånga kärnindikator X? Mätpunktsseminarium (nov 2014) Bearbetning av förslag till mätpunkter. Slutseminarium (dec 2014). (antal=65) Bedömde de föreslagna mätpunkterna huvudsakligen som relevanta/begripliga. Styrgruppsmöte (dec 2014) Bestämde de slutliga mätpunkterna (26 st.) 2018-12-27

Pilotundersökningen Antal som besvarat enkäterna: Deltagare 468 st 12 samordningsförbund Falun Trollhättan/Lilla Edet/Grästorp (SOFTLEG) Skellefteå/Norsjö Västra Östergötland Östra Östergötland Centrala Östergötland Huddinge/Botkyrka/Salem Karlstad/Hammarö/Grums/Kristinehamn (Samspelet) Norra Västmanland Östra Södertörn Södertälje Kalmar län Antal som besvarat enkäterna: Deltagare 468 st Personal 148 st Förbundschefer 20 st Styrelse 96 st Parternas chefsgrupp 143 st Totalt 875 st 2018-12-27

Till relevans, begriplighet, användbarhet, mätbarhet och mätsäkerhet För att nå begriplighet och relevans Enkätfrågorna Var det något påstående du hade svårt att ta ställning till? Upplever du att påståendena speglar de viktigaste aspekterna i den samordningsförbund-finansierade verksamheten? Kompletterade konsensuskonferens + Sättet som mätpunkter/frågor är framtagna på 2018-12-27

Enkät - Avsnitt ”Vad tyckte Du om enkäten?” Deltagarenkät 2018-12-27

Enkät – Avsnitt ”Vad tyckte du om enkäten?” Personal Förbundschef Styrelse Parternas chefsgrupp 2018-12-27

Uppnådd begriplighet Var det något påståendet du hade svårt att ta ställning till? Deltagare 72 % av ansåg att de kunde ta ställning till enkätfrågorna. 22 % hade svårt att ta ställning till dem Personal 49 % av ansåg att de kunde ta ställning till enkätfrågorna 40 % hade svårt att ta ställning till dem Förbundschefer 40 % av ansåg att de kunde ta ställning till enkätfrågorna 60 % hade svårt att ta ställning till dem Styrelsemedlemmar 56 % av ansåg att de kunde ta ställning till enkätfrågorna 25 % hade svårt att ta ställning till dem Deltagare i parternas chefsgrupper 55 % av ansåg att de kunde ta ställning till enkätfrågorna 19 % hade svårt att ta ställning till dem

Uppnådd begriplighet Var det något påståendet du hade svårt att ta ställning till? Deltagare Huvuddelen (72 %) ansåg att de kunde ta ställning till påståendena i enkäten Beslut: Inga förändringar i enkäten inför mätning 2 i pilotundersökning P1:16/468, P2: 5/468, P3:14/468, P4: 4/468, P5:38/468, P6:20/468, P7:18/468, P8: 33/468,P10:19/468, P11:17/468 Personal/förbundschefer/styrelsemedlemmar/deltagare i parternas chefsgrupper Färre (49%, 40%, 56%, 55%) ansåg att de ta ställning till påståendena i enkäten. Beslut: Enkäterna kompletteras med ingresser som förklarar och definierar begrepp som struktur, strategi, aktörer, uppföljning och utvärdering. P1-P10:7-24/148, P1-P4:3-9/20, P1-P3:12-18/96, P1-P2:12-15/143

Uppnådd relevans Upplever du att påståendena speglar de viktigaste aspekterna i den samordningsförbund-finansierade verksamheten? Personal 67 % ansåg att enkätfrågorna speglade de viktigaste aspekterna 18 % ansåg det inte Förbundschefer 33 % ansåg att enkätfrågorna speglade de viktigaste aspekterna 66 % ansåg det inte. Styrelsemedlemmar 73 % ansåg att enkätfrågorna speglade de viktigaste aspekterna 5 % ansåg det inte. Deltagare i parternas chefsgrupper 59 % i ansåg att enkätfrågorna speglade de viktigaste aspekterna 11 % ansåg det inte

Uppnådd relevans Upplever du att påståendena speglar de viktigaste aspekterna i den samordningsförbund-finansierade verksamheten? Personal/Styrelsemedlemmar Huvuddelen (67 %, 73 %) ansåg att enkätfrågorna speglade de viktigaste aspekterna Förbundschefer Få (33 %) ansåg att enkätfrågorna speglade de viktigaste aspekterna Deltagare i parternas chefsgrupper En stor del (59%) ansåg att enkätfrågorna speglade de viktigaste aspekterna Beslut: Ändra frågan Upplever Du att påståendena speglar relevanta aspekter i den samordningsförbund-finansierade verksamheten?

Till relevans, begriplighet, användbarhet, mätbarhet och mätsäkerhet För att nå användbarhet Enkäten förmå att upptäcka förändring/variation Normalfördelning önskvärd Symmetriskt klockformad med de flesta värdena kring medelvärdet Medger förändring Många statistiska analyser bygger på antagandet Undvika skevhet eller toppighet/utbredning i svarsmönster Svarsskalans benämning, antalet skalsteg eller en trubbig enkätfråga Positiv skevhet (skewness) Negativ skevhet (skewness)

Hur avgöra skevhet och toppighet/utbreddhet – histogram samt värden Skewness -2,087 Kurtosis 6,038

Uppnådd användbarhet Resultat: Skevhet och toppighet/utbreddhet finns i större eller mindre utsträckning i frågorna i alla fem enkäter. Åtgärder: För att åtgärda kan frågorna omformuleras, antal skalsteg ändras eller benämningarna på skalstegen ändras. Stämmer inte alls Stämmer inte så bra Varken ja eller nej Stämmer delvis Stämmer helt 1q 2q 3q 4q 5q

Uppnådd användbarhet Beslut: 1q 2q 3q 4q 5q Frågornas formulering kvarstår huvudsakligen Antal skalsteg (1-5) kvarstår. Benämningarna på skalstegen ändras Tar helt avstånd Tar delvis avstånd Tveksam Instämmer delvis Instämmer helt 1q 2q 3q 4q 5q Några få frågor tas bort, exv Deltagare P5: Jag har utvecklat sätt att hantera min situation Deltagare P6: Det stöd jag har fått har hjälpt mig att utveckla sätt att hantera min situation. (Behåll nr 6.)

Mätsäkerhet (reliabilitet) Test-re-test Påverkas mätningen av tiden Om samma person gör flera mätningar, hur väl stämmer de överens Två mätningar med minst 7 och max 14 dagars mellanrum. Restriktiv information i förväg – minimera risk för memorering av svar Antal som besvarat enkäterna två gånger: Deltagare 91 st Personal 39 st Förbundschefer 11 st Styrelse 25 st Parternas chefsgrupp 40 st 2018-12-27

Mätsäkerhet (reliabilitet) Test-re-test Jämförelse av svarsmönster per fråga mellan Test och retest-svar - korstabeller

Uppnådd mätsäkerhet Preliminära resultat: Deltagare Fem (1,2,4,7,10) av tio enkätfrågor - överensstämmelse i svarsmönster mellan 61-100 %, fler mot 100% Fyra (3,6,8,11) av tio enkätfrågor - överensstämmelse i svarsmönster mellan 50-80 %, fler mot 80 % En enkätfråga (5) - överenstämmelse i svarsmönster 45-75 % (tas bort) Personal Två (1,7) av tio enkätfrågor - överensstämmelse i svarsmönster 71- 80%, flest runt 80% Fem (2,3,4,9,10) av tio enkätfrågor - överensstämmelse i svarsmönster mellan 50-80 %, flest runt 70-80 % Tre (5,6,8) av tio enkätfrågor - överensstämmelse i svarsmönster mellan 33-40 % 2018-12-27

Uppnådd mätsäkerhet Preliminära resultat: Förbundschef Tre (1,2,4) av fyra enkät frågor - överensstämmelse i svarsmönster minst >= 75% En enkätfråga (3) - överenstämmelse i svarsmönster minst >50% Styrelsemedlemmar Två (1,2) av tre enkätfrågor – överenstämmelse i svarsmönster minst >=70% En enkätfråga (3) - överenstämmelse i svarsmönster minst >43% Parternas chefsgrupp Två (1,2) av två enkät frågor - överensstämmelse i svarsmönster minst 2018-12-27

Tack! Berth Danermark, Örebro universitet Susanna Larsson Tholén, Örebro universitet Linköping 2015-09-29 2018-12-27