Utvärdering av samordningsförbunden

Uppdrag angående utvärdering av samordningsförbundens verksamhet ________________________ Regeringsuppdrag: Den 22 juni 2017 beslutade regeringen att ge ISF i uppdrag att utvärdera Samordningsförbundens verksamhet. Uppdraget följer i allt väsentligt den utvärderingsplan som ISF lämnade in till regeringen i 28 april 2017. Planering har skett i samråd med Socialdepartementet och Arbetsmarknadsdepartement (10/4-2017) samt med Nationella rådet (3/4-2017).

Utvärderingen/uppdraget består av tre fristående delar ____________________________   Samordningsförbundens verksamhet och organisering (Slutredovisning 12 oktober 2018) Utvärdering av de samlade/totala effekterna på kommunnivå (Slutredovisning 14 december 2018) Plan för att utvärdera effekter av samordnings-förbundens insatser på individnivå ( Plan lämnades in den 14 november 2017. Planen skall utgöra underlag för regeringens ställningstagande angående genomförande och redovisning av en sådan utvärdering. Beslut fattas den 25/1-2018)

1. Samordningsförbundens verksamhet och organisering _______________________________________ ISF kommer att studera samtliga verksamma samordningsförbund år 2016 utifrån deras organisation och verksamhet. Vi kommer även att titta på styrande lag och riktlinjer. Övergripande frågor: – Hur organiserar sig förbunden? – Hur använder förbunden sina resurser? – Kan vi identifiera olika former för hur förbunden arbetar med utgångspunkt i organisation, verksamhet och kontextuella faktorer? Områden som ska studeras: – Organisation – Målgrupper och deltagare i insatser – Typ av insatser och projekt – Finansiering – Den kontext förbunden verkar inom

Data ________________________________ SUS: resurser, insatser, målgrupper, information om individer i insatser etc. – ojämn registrering mellan förbunden – speglar det verkligheten? Förbundens egna dokument: information om målgrupper, projekt, ekonomi, styrelsens arbete, ekonomisk fördelning etc. – tidskrävande, saknas information om de som genomgår insatser Kommunal - och landstingsdatabasen (KOLADA): ungdomarbetslöshet, nyanlända, offentlig försörjningsbörda etc. Vissa socioekonomiska och demografiska bakgrundfaktorer som kan vara relevanta. Enkät: ISF kommer att genomföra en enkät riktad till förbundschefer och styrelsemedlemmar kring frågor om SOF:s verksamhet och organisation.

Vi vill veta vad ni tycker!!! _____________________________ Era syn på verksamheten är viktig för utvärderingen => Enkät till förbundschefer och styrelseledamöter

Enkät som snart kommer er till del ________________________________

2. Utvärdering av samordningsförbundens verksamhet på kommunnivå, 2005-2016 _____________________________ Leder samordningsförbundens verksamhet till att andelen studerande i arbete (med och utan stöd, nystartsjobb,…) inskrivna på arbetsförmedlingen deltagare i arbetsmarknadspolitiska åtgärder i offentlig försörjning (AF, FK, Kommuner) långtidssjukskrivna långtidsarbetslösa med sjukersättning påverkas på kommunnivå? Här studeras den sammantagna effekten av förbundens verksamhet – både struktur- och individinriktade insatser.

=> Randomiserat experiment 3. Utvärdering av Samordningsförbundens verksamhet på individnivå ____________________________ Det finns idag inget enhetligt och heltäckande register över deltagare i samordningsförbundens insatser Komplex målgrupp: svårt att identifiera vilka individer som uppfyller villkoren för att få del av insatser Svårt (omöjligt) att identifiera en kontrollgrupp av individer med en likartad utsatt position och komplex problematik. => Randomiserat experiment

3. Randomiserat experiment? _______________________________ Fördel: Vi kan slumpa individer till olika grupper så att systematiska skillnader mellan grupperna elimineras. => Observerade skillnader i utfall kan härledas till deltagande i insats. Design och etiska överväganden: I den första planen som lämnades till regeringen i april 2017 nämndes två alternativ. Randomisering till insats och kontrollgrupp, kontrollgrupp får vänta på insats i 6 mån. Randomisering mellan olika insatser. Alla randomiseras till en insats. Inte möjligt att genomföra… Designen

Önskemål om nationell utvärdering ____________________________ ISF har träffat förbundschefer från 12 förbund, förbunden valdes med hänsyn till: - stora volymer på individinsatser enligt SUS data - geografisk spridning - exkluderat förbund med stora ESF Projekt Kontaktade förbund: Delta, Göteborg centrum, Insjöriket, FINSAM Malmö, Samspelet, Stockholm Stad, Syd Närke, Östra Skaraborg, Västra Östergötland, Uppsala, Västerås, och Umeå.

Frågor som har diskuterats vid träffarna ____________________________ Hur ser förbunden på att delta i en utvärdering/experiment? Vilken typ av insatser kan utvärderas? Var och hur kan randomisering (slumpning)ske? Vad kontrollgruppen ska få och när? Vilket eller vilka utfallsmått skall analyseras? Närmande till arbetsmarknaden (progression)? Kommer att kräva resurser och ta tid i anspråk

Utvärdering av samverkansteam? _________________________________ Speglar syftet med samordningsförbundens verksamhet Gör det möjligt att genomföra randomisering på ett enkelt och effektivt sätt Kontrollgruppen får vänta på insats 6 mån.

Vad säger samordningsförbunden? __________________________ Samtliga kontaktade förbund försiktigt till mycket positiva till att medverka i en effektutvärdering Förutsättningarna ser olika ut Finns förbund med mkt bra förutsättningar i: Malmö, Göteborg, Stockholm och Umeå

Preliminär tidsplan 2018-2022 _________________________ VT 2018: - Etikprövning, - Pilot startar upp - SOF kontaktas och deltagande fastställs HT 2018: - Pilot utvärderas (design och upplägg) - Avstämning med socialdepartementet - Enkäter tas fram för självskattning, webbverktyg mm. - Introduktion och uppstart med SOF VT 2019: - Etikprövning lämnas in (hela utvärderingen) - Start för experiment - Fortlöpande analys VT2020: - Experiment avslutas - Analys för framtagande av effekter påbörjas HT 2020: - Resultat av kortsiktiga effekter (enkäter mm) HT 2021/2022: - Resultat av långsiktiga effekter (register)

Vad händer nu? _______________________________ Arbetet med Del 1 och Del 2 i utvärderingen pågår för fullt. Enkät kommer att skickas ut om ngn vecka Om positivt beslut för Del 3, kommer ISF att kontakta de förbund där det finns goda förutsättningar att utvärdera verksamheten. Träffa styrelser mm. Finns många frågor kvar att lösa … Planering av pilot och stor utvärdering påbörjas….