Så svarar du på frågan: Och vad ledde detta till då?! Om att mäta resultaten av jämställdhetsarbetet ESF Jämts avslutningskonferens, Örebro 24 april 2013 Göran Hallin

Inledning

Göran & Kontigo Göran har 20 års erfarenhet som forskare, chef i analysmyndigheter och konsult Lång erfarenhet av utvärdering av komplexa program och processer – har bl.a. följt EU:s strukturfonder sen 1995 Kontigo arbetar med analyser, utvärderingar och strategiskt processtöd inom bla regional utveckling, tillväxt, kompetensförsörjning och social hållbarhet. Vi har lång erfarenhet av att arbeta med insatser kring socialt utanförskap, likabehandling och jämställdhet Den här presentationen grundar sig på olika underlag, bl.a: Utvärderingar av Social och regionalfonden på programnivån Utvärdering av jämställdhet och tillgänglighet i Socialfonden En analys av sambanden mellan jämställdhet och tillväxt En studie av hur man kan mäta effekter av likabehandling i projekt Ett flertal lärande utvärderingar för projekt finansierade genom Socialfonden Vi delar våra kunders engagemang för samhällsutveckling

Socialfonden i Sverige – Som Katrineholms kommun En relativt omfattande verksamhet Sverige tilldelades cirka 6,2 mdr från EU via Socialfonden Till detta kommer ungefär lika mycket i nationell medfinansiering Sammanlagt investerar vi ca 1, 75 mdr/år. Det motsvarar all kommunal verksamhet i en medelstor svensk kommun som t.ex. Katrineholm (ca 32 000 inv). Socialfonden ”främjar kompetensutveckling och motverkar utanförskap”. Målen är inte helt enkla att uttyda, men handlar om att: Deltagande individer har fått eller kan ta sig an nya arbetsuppgifter Deltagande arbetsplatser har fått kunnigare arbetskraft, bredare verksamhet, ökad kunskap om hur man kan motverka diskrivminering och främja likabehandling eller står bättre rustade för att möta långtidssjukskrivningar Deltagande individer skall i högre grad än i ordinarie åtgärder få jobb. Deltagarna skall uppleva att deras möjlighet att få arbete har ökat Socialfonden skall också vara en ”experimentverkstad” genom insatser för ”innovativ verksamhet, lärande miljöer, strategisk påverkan och samverkan”. Slutligen skall Socialfonden bidra till ökad tillgänglighet och jämställdhet genom att alla projekt skall verka för detta – det finns dock inga särskilda mål för vad detta skall leda till

Denna presentation Syftar till Presentationen är indelad i Lyfta fram betydelsen av att kunna visa på resultaten av vårt arbete – särskilt med fokus på jämställdhetsarbetet inom Socialfonden Visa hur man skapar förutsättningar för att kunna svara på frågan: Och vad ledde detta till då?! Presentationen är indelad i Varför så viktigt? Resultat, måluppfyllelse, effekt, nytta – vad betyder begreppen och är det viktigt? Att mäta måluppfyllelse, resultat, effekter och nytta av jämställdhetsprojekt

Därför är det viktigt att kunna svara på frågan – Och vad ledde detta till då?!

Därför bör vi kunna svara på frågan: Och vad ledde detta till då?! Politik är att välja – att prioritera Prioriteringar handlar om att väga insatser mot andra insatser, att genomföra insatser eller inte genomföra insatser Prioriteringar handlar om att värdera sådant som går att mäta och sådant som inte går att mäta Prioriteringar handlar om att värdera sådant som kan räknas i kronor och sådant som inte kan räknas i kronor Demokratin vilar på en legitimitet som bottnar i att vi kan redogöra för våra prioriteringar Det vi gör inom Socialfonden hade vi kunnat använda till ”ännu ett Katrineholm”. Insatserna för jämställdhet hade kunnat användas för kanske ett Sorsele Därför är det viktigt att vi talar om vad de lett till – vi bör glädja oss åt frågan!

Resultat, måluppfyllelse, effekt och nytta – några begrepp

En insatslogik beskriver vad man vill uppnå och hur man vill göra det Mål: Något som man vill påverka (ändra/bevara). Skälet till insatsen Resultat: Det omedelbara resultatet av den insats man genomför. Aktiviteter: Det man konkret gör Resurser: Det som krävs för att genomföra aktiviteterna

Måluppfyllelse, effekt och nytta Måluppfyllelse – Har man nått den påverkan på målet som man önskade? Effekt – Hur stor del av måluppfyllelsen beror på insatsen? Nytta – Värdet av effekten

Vikten av att sätta olika typer av mål Resurser 2 mkr i budget Aktivitet Alla chefer skall genomgå jämställdhetsutbildning Resultat Cheferna skall ha ökat sin kunskap om strategier för ökad jämställdhet Målpåverkan Mer jämställd organisation Vikten av att sätta olika typer av mål Behöver preciseras: t.ex. vad ökat, hur mycket, vad strategier. : Hur mäta: upplevd jämställdhet (index)? Faktiska mått: löneskillnader, skillnad i rekrytering, etc.: Resurser – Mål i t.ex. budgettermer. Aktivitet – Mål för omfattning, kvalitet och deltagande i aktiviteter Resultat – Omedelbart utfall av aktivitet Mål – Mål för förändring/bevarande av det förhållande som motiverar insatsen. Effekt – Mål för vilken förändring som själva insatsen skall åstadkomma – jämställdheten i organisationen skall öka med x som en följd av insatsen Nytta – Mål för värdet av insatsens effekt – värdet av den ökade jämställdheten

Att mäta resultat, måluppfyllelse, effekt och nytta

Portföljutvärdering Skall svara på frågorna: Har avsatta resurser använts? Har resurserna använts till de aktiviteter som de var avsedda för?

Processutvärdering Skall svara på frågorna: Har aktiviteterna genomförts enligt plan? Har målen för aktiviteterna nåtts? (Har alla chefer verkligen genomgått jämställdhetsutbildningen)

Resultatutvärdering Skall svara på frågorna: Har målen för vad aktivisterna skall leda till uppnåtts? Har chefernas kunskap ökat?

Måluppfyllelse, effekt och nytta Måluppfyllelse – Har man nått den påverkan på målet som man önskade? Har organisationen blivit mer jämställd? Effekt – Hur stor del av måluppfyllelsen beror på insatsen? Har organisationen blivit mer jämställd än det skulle ha blivit utan insatsen? Nytta – Värdet av effekten

Att utvärdera effekterna av en jämställdhetsinsats i en organisation I de flesta projekt påverkas målet (det man vill åtgärda) av många andra saker förutom insatsen Effekten: Den skillnad som insatsen gjort när det gäller påverkan på det övergripande målet Jämföra mellan faktiskt läge och ett ”teoretiskt” om-inte-läge Utmaningen är att ”hitta” ett om-inte att jämföra med. Den enda skillnaden mellan faktiskt läge och om-inte-läget skall vara just insatsen. Man kan när man utformar insatser söka ”skapa en kontrollgrupp” – en experimentsituation. T.ex. en annan organisation som liknar denna som man följer trots att man inte genomför ett projekt. Man kan också ”i efterhand” söka identifiera kontrollgrupper – identifiera liknande organisation, organisationer. Statistik för att avgöra att målgruppen och kontrollgruppen är lika. Sen kan man ”fuska lite” – det viktigaste är tanken på vad en effekt faktiskt är

Så – Vad ledde detta till då? Jo, vi satte målet att vår organisation skulle bli mer jämställd – t.ex. löneskillnaderna mellan män och kvinnor skulle försvinna. Vi har nu inte riktigt nått ända fram, men skillnaderna har minskat med X procentenheter. (Måluppfyllelse) Vi satsade på att öka chefernas kunskap. När vi utvärderat detta före och efter insatsen ser vi att kunskapen har ökat med xx enheter på vårt index. (Resultat) En framgångsfaktor kan vara att hela 98 procent av cheferna faktiskt har deltagit fullt ut i utbildningsinsatserna. (Genomförande) Vilken skillnad gjorde då projektet? Vi har jämfört utvecklingen av löneskillnaderna i vår organisation under den här perioden med: Hur skillnaderna i en organisation som liknar vår men som inte genomfört någon liknande insats har utvecklats Hur skillnaderna i hela vår bransch har utvecklats Hur skillnaderna utvecklats i organisationen tidigare Då ser vi att skillnaderna minskat med x procentenheter mera i vår organisation än i jämförbara organisationer. Vi menar att detta är en indikator på projektets effekt. (Effekt) Vi menar att den effekten har ett stort värde för vår organisation, och för våra anställda – Värdet överstiger kostnaden (Nytta)

Tack för uppmärksamheten!

Insatslogik för jämställdhetsprojekt Jämställdhet som mål Jämställdhets-insats Ökad kunskap Ökad jämställdhet Jämställdhet som medel Jämställdhets-insats Ökad jämställdhet Minskad sjukfrånvaro Aktivitet Resultat Målpåverkan Insatslogik för jämställdhetsprojekt Inom Socialfonden ser vi att det finns två huvudsakliga sätt att utforma jämställdhetsinsatserna – jämställdhet som mål eller jämställdhet som medel. Insatserna har således helt olika mål.

Case: Ökad jämställdhet i företag x Bakgrund I företag X är 70% av de anställda män. Stora skillnader finns också när det gäller vilka typer av jobb som männen respektive kvinnorna har i organisationen. En medarbetarundersökning visar att både män och kvinnor är missnöjda med hur de bemöts av chefer och ledning i vissa situationer. Företaget har svårt att rekrytera yngre utbildade, i synnerhet kvinnor. Uppdrag Utveckla jämställdheten i företaget After Work?

Insatslogik metodutveckling Jämställdhet ny metod Test av metoder Ny metod introduceras Befintlig metod Befintlig metod Resurser Budget Jämförbara förutsättningar för metodutveckling Aktivitet Utformning och test av ny metod i jämförelse med traditionell Resultat Skillnader mellan metoder Ny metod kan introduceras Målpåverkan Mer jämställd organisation Insatslogik metodutveckling Jämställdhet Resurser – Mål i t.ex. budgettermer. Aktivitet – Mål för omfattning, kvalitet och deltagande i aktiviteter Resultat – Omedelbart utfall av aktivitet Mål – Mål för förändring/bevarande av det förhållande som motiverar insatsen.

Case: Jämställdhetsintegrera arbetet för att motverka långtidsjukskrivna i XX kommun Bakgrund XX kommuns långtidssjukskrivningar kostar kommunen 10 mkr varje år I XX kommun visar det sig att kvinnor är i högre utsträckning än män långtidssjukskrivna I XX kommun får männen större del av både de friskvårds- och rehabiliteringsresurser som kommunen investerar Forskning visar att personligt anpassad friskvård och rehabilitering effektivt motverkar långtidssjukskrivningar Uppdrag Utveckla nya metoder för minskade långtidssjukskrivningar i kommunen Ökad jämställdhet skall vara ett medel i metoden