Effekten av likabehandling är lika med… Om att mäta effekter av att arbeta med lika rättigheter och möjligheter i projekt 15 November 2012, Stockholm Frukostseminarium, SPeL

Bakgrunden Inom ramen för den Europeiska Sammanhållningspolitiken investerar vi i EU tillsammans omkring 8 mdr av den gemensamma EU-budgeten via den s.k. Socialfonden i Sverige under åren 2007 – 2013. Till detta kommer svensk nationell medfinansiering om lika mycket. Merparten av Socialfondens insatser handlar om att utveckla kompetensen hos anställda (i syfte att minska deras sårbarhet) och att motverka utanförskap på arbetsmarknaden Det svenska programmet för Socialfonden är i stor utsträckning inriktat på förnyelse och utveckling av nya metoder Jämställdhet och tillgänglighet är två prioriterade områden – såväl som allas lika rättigheter och möjligheter på arbetsmarknaden. Fokus i programmen ligger i hög grad på att arbeta med dessa frågor inom ramen för kompetensutveckling och att motverka utanförskap Temagruppen Likabehandling har ett särskilt uppdrag att stödja lärandet från Socialfondens genomförande med fokus just på frågor om lika rättigheter och möjligheter

Uppdraget Uppdraget syftar till att ”undersöka hur man kan mäta effekter av likabehandlingsarbete”. Med likabehandlingsarbete utgår vi här från just sådana insatser som ”bidrar till lika rättigheter och möjligheter i arbetslivet”, t.ex. inom Socialfonden. Uppdraget har syftat till att föreslå och utveckla metoder och angreppssätt för att identifiera och mäta olika typer av effekter från dessa i sin tur olika insatser. Uppdraget har utgått från ett urval case (i form av projekt, finansierade genom Socialfonden) Uppdraget har inte omfattat att genomföra mätningar av effekter.

Vad är effekter och hur kan de mätas? Effekt: Är skillnaden mellan det faktiska tillståndet (i målvariabeln) efter insatser och det kontrafaktiska tillståndet i samma variabel (dvs. det tillstånd som skulle ha varit om inte insatsen genomförts. Mål: Är det man önskar uppnå med en insats: t.ex. en förändring i ett tillstånd. Finns också mål på olika nivåer. Resultat: Är det som (direkt) kommer ut ur en insats, både sånt som påverkar måluppfyllelsen och sånt som inte gör det. För att kunna tala om en effekt behövs: tydligt definierade mål, en realistisk insatslogik och en avgränsad, väl definierad och homogen målgrupp För att mäta effekter behöver vi etablera en kontrafaktisk situation Namn på presentation - Kontigo AB 2010.09.18

Hur mäta effekter – steg för steg! Identifiera ett (eller flera) tydligt ”effektmål”/slutligt mål – dvs. ett mål som rör det tillstånd man önskar påverka med insatsen – Ofta många mål, men alla är inte effektmål. Rekonstruera en insatslogik och en målhierarki! Samla kunskap om målgruppen, vilka ingår, hur har den definierats och vad kännetecknar den i övrigt. Deltar alla eller urval i målgrupp? Hur har i så fall urvalet skett? Etablera en kontrafaktisk (om inte) situation – genom design av en kontrollgrupp, eller liknande. Principen är: en situation som är exakt den samma, utom att insatsen inte ägt rum. Matcha ”individer” till kontrollgruppen – principen är att dessa skall likna deltagare i alla avseenden utom just deltagandet, baserat på informationen om målgrupp och deltagare. Statistiska metoder kan användas för att matcha individer (för att se hur lika deltagarna de är). Jämför utfallet i målvariabeln för deltagargruppen med kontrollgruppen, baserat på jämförande statistik eller statistisk analys. Statistiska analyser ställer högre ”krav”, bl.a. på gruppernas storlek. Jämförelsen ger ett mått på effekten – grundat på vilken skillnad insatsen har gjort. Det sista ledet handlar om att sätta ett värde på effekten – värdet kan relaterad till kostnaden och därmed användas för att bedöma nytta eller prioritera mellan olika insatser. Värderingen utgår från effekten. Namn på presentation - Kontigo AB 2010.09.18

Case 1–Likabehandling i rekrytering – Gävle kommun Gävle kommun drev under andra halvåret 2009 projektet: Mångfald och Rekrytering. Kvalitetssäkra den kommunala rekryteringsprocessen. En ökad kompetens inom lika rättigheter, möjligheter och diskriminering, samt att dessa perspektiv integrerades i kommunens rekryteringsprocess Integrera arbetet med likabehandling, deltagarna skulle reflektera kring och lära sig att själva bli medvetna om sina föreställningar och beteenden Effekten av projektet i dess helhet kan formuleras som en ökad överensstämmelse vad gäller den etniska sammansättningen mellan Gävle kommuns anställda och befolkningen i kommunen i dess helhet, jämfört med en (eller flera) kontrollkommun. Detta mäts med jämförande statistik över de anställda i Gävle kommun och en eller flera jämförbara kommuner Värdet av effekten svårbedömt: Värden kopplade till ökad mångfald och högre produktivitet i organisationen Värden kopplade till en ökad total sysselsättning i kommunen

Case 5: Likabehandling i ett metodutvecklingsprojekt - Directa Projektet Directa är ett metodutvecklingsprojekt inom Socialfondens PO 2. Arbetsförmedlingen i samverkan med Botkyrka, Huddinge och Södertälje kommuner. Genom Directa skall man tillgodoser en större variation av individuella behov än idag. Detta skall innebära att målgruppen ska etablera sig på arbetsmarknaden. Direkta skall leverera arbetssätt och verktyg som kan användas i ordinarie arbetsmarknadspolitisk verksamhet. Skapa en kontrollgrupp med nyanlända och utrikes födda inskrivna på Arbetsförmedlingen, likna Directas deltagare i alla avseenden utom det att de deltagit i någon insats som utgått från empowerment och nyttjande av tolk i olika samtalssammanhang som metod. Därefter kan t.ex. den sammanlagda inskrivningstiden vid Arbetsförmedlingen jämföras mellan de bägge grupperna. Värdet av effekten ”lätt” att beräkna – består av kortare tid utanför arbetsmarknaden – En minskad nettokostnad i form av uteblivna kostnader för arbetslöshetsersättningen/sjukersättningen Minskade nettokostnader i form av minskade övriga bidrag från staten och kommunen Ökad inkomst, ökade skatteintäkter på både inkomst och konsumtion, samt ökad BNP Namn på presentation - Kontigo AB 2010.09.18

Effekter i metodutveckling Mätpunkter Mätpunkter Metod Utgångs-läge Metod Utveck-lingsfas MetodUtveck- lingsfas Metod Ut-vecklad

Slutsatser Många case har många och otydliga mål och de är inte hierarkiskt strukturerade. Därför har vi rekonstruerat målen. Många målgrupper och urvalet till att delta i projekten är designat på ett sätt som inte möjliggör regelrätta effektutvärderingar. Detta gör att vi kan etablera bra kontrafaktiska situationer för några case, men inte för alla. Projekt med likabehandling som metod (metodutveckling) behöver genomgående designas om för att möjliggöra reella effektmätningar- Projekt med likabehandling som mål, är genomgående mätbara Stor risk att mätningarna inte kommer att kunna identifiera några större, statistiskt signifikanta effekter – främst beroende på en orealistisk projektlogik – dvs. effekter på de uppställda målen finns inte, delvis beroende på bristande design och därmed utvärderbarhet Det kan finnas effekter som inte går att mäta – men om de inte kan mätas, så kan vi aldrig vara säkra på att det verkligen är en effekt. Effekternas värde är lättare att beräkna när effekterna är minskat utanförskap och svårare när det handlar om organisationernas sätt att fungera Namn på presentation - Kontigo AB 2010.09.18

Tack för uppmärksamheten! Namn på presentation - Kontigo AB 2010.09.18

Genomförande och uppläggning Uppdraget har genomförts av Kontigo i samverkan med prof. Jonas Månsson vid Linnéuniversitetet och Payoff AB i Östersund. Forskningsöversikt: förhållandevis få relevanta studier har identifierats när det gäller likabehandling som medel för kompetens och inkludering eller när det gäller metoder att nå likabehandlings som mål (utöver diskrimineringslagstiftning). Övergripande projektanalys – intervju- och dokumentanalys Grundläggande analys av effekter och metoder att mäta dem Analysseminarium – case för case för såväl mätning som värdering av effekter Flera avstämningar med uppdragsgivaren Vad är effekter – och hur kan de mätas? Likabehandlingens förväntade effekter Beskrivning av projekten Effektmätningsanalys – case för case Sammanfattning och slutsatser