Från goda projektresultat till förändrade arbetssätt Kunskap, synpunkter och erfarenheter från processutvärderingen

Processutvärderingen … ”Processutvärderarens roll är främst att följa och kritiskt granska projektet samt att ge underlag för styrning och ledning i riktning mot önskade resultat och effekter…”

Metoder, verktyg, modeller Sam-verkan Projekt-kvalitet Lärande-struktur Målgrupps-medverkan System-påverkan Metoder, verktyg, modeller Prioriterade teman

Drop-outs – i teori och praktik Drop-outs och Early school leaving (ESL)… två olika begrepp, kräver olika insatser EU-målet: att minska andelen unga mellan 18-24 år som av vilken anledning som helst avslutat studier ’för tidigt’ (iaf gymnasiet) till max 10 procent…

Läget i Europa (EU)… Oerhörda/oväntade skillnader inom EU-länderna Dock stora framgångar under de två-tre senaste åren (de ’sämsta’ länderna står för största förändringen) Fokus på ’kostnader’ och konsekvenser både för individer och samhälle, t ex EENEE-rapport, dec 13* Forskningsområde som växer – kunskaper/exempel för kommuner som vill praktisk och konkret handling! Svängning från individ- till systemfokus, från ett tidigt ’blame the child/family’ till att hantera systembehov *European Expert Network on Economics of Education: ’The costs of Early school leaving in EU’

…och Sverige Ungdomar som inte påbörjar gymnasiet, ca 2 procent av de elever som avslutat år 9 Ungdomar som inte är behöriga till ett nationellt program, cirka 12 procent Ungdomar som avbryter en gymnasieutbildning, cirka 8 procent av samtliga elever 23 procent av alla elever som påbörjat gymnasiet saknar slutbetyg sju år efter påbörjad utbildning

1. Mobbning, socialt utanförskap 2 1. Mobbning, socialt utanförskap 2. Brist på pedagogiskt stöd i skolan 3. Vuxna som inte bryr sig 4. Dåligt bemötande i skolan 5. Bristfälligt pedagogiskt stöd i skolan efter en långvarig frånvaro (på grund av sjukdom eller missbruk) 6. Behov av mer praktik och mindre teori 7. Stökig skolmiljö 8. Fel programval 9. Neuropsykiatriska funktionsnedsättningar som inte upptäcks under utbildningen 10. Dåliga hemförhållanden *Temagruppen Unga

Lärare och andra vuxna som bryr sig och inte blundar för problemen Tillräckligt pedagogiskt stöd, mindre klasser, individuellt anpassade studieplaner Mer praktik – mindre teori, flexibla tider och scheman *Temagruppen Unga

DROP-OUTS Vad handlar det om - egentligen?

Hönan och ägget…? PROBLEM I SKOLAN BRIST PÅ MOTIVATION, ENGAGEMANG Brist på kvalifikationer Inget tillträde till utbildning Avhopp från utbildning Felval, mismatch utb/aktivitet Stängd dörr till arbetsmarknaden Brist på efterfrågan på arb kraft Svagt/inget samhällsengagemang BRIST PÅ MOTIVATION, ENGAGEMANG BRIST PÅ MÖJLIGHETER, RESURSER

Tidigare erfarenheter Individuella, sociala faktorer Skolprestation Akademiskt Engagemang Beteende Socialt Avvikande beteende Tidigare erfarenheter Individuella, sociala faktorer Psykisk, fysisk hälsa Struktur Bakgrund Förhållningssätt Familj Kultur Resurser Strukturer, resurser Skol-/utb faktorer Praxis, tillämpning Systemiska faktorer på makronivån

Skola, utbildningssystem och andra offentliga verksamheter ÄR viktiga delar… …men samarbetet med familjer och föräldrar är en mycket viktig och ofta efter-satt resurs… …för att kunna stötta elever och unga att lyckas med skolan och övergången till arbetslivet Att hoppa av skolan är alltså knappast ett beslut som kommer över en natt. Ofta är beslutet ett resultat av en längre process och av flera olika orsaker…

INSATSER PÅ STRATEGISK NIVÅ Koordinering av policies, mål och insatser Statistik kring frånvaro och avhopp (system) FÖREBYGGANDE STRATEGIER System- och strukturella insatser (lärarfortbildning, utv av läroplaner och pedagogik, utveckling av vägledning, modeller för föräldra- och organisatorisk samverkan, hantering av/system för övergångar mellan stadier mm Riktade insatser, t ex mot särskilda områden och eller grupper, mentorskap, extrastöd till barn/familjer, system för tidig upptäckt (EWS), fritidsaktiviteter (både i och utanför skolan), elevmedverkan/-demokrati, piloter (test) ÅTERFÖRANDE STRATEGIER Stödfunktioner (holistiska, med multikompetens) för unga i riskzonen Övergångsklasser Second chance-skolor Validering av icke formell och informell kompetens Praktikmöjligheter (yrkes- och arbetsplatsbaserad)

System för flernivåsamverkan..? Nationella nivån: sätta nat målsättningar ge direktiv och resurser följa upp, utvärdera, sprida Regionala nivån: sätta reg målsättningar samordna, mäta, stötta Lokala nivån: sätta lokala målsättningar testa idéer och innovationer utveckla lokala modeller

Källor/forskning (exempel) Baseline rapport: http://urbact.eu/fileadmin/Projects/PREVENT/outputs_media/Prevent_baseline_study_Web_01.pdf Preventprojektet (föräldramedverkan): http://urbact.eu/en/projects/active-inclusion/prevent/homepage/ European Commission Thematic Working Group on ESL (slutrapporten mm): http://ec.europa.eu/education/policy/strategic-framework/expert-groups_en.htm#schools EENEE’s rapport om kostnader (sök efter Analytical report no 17): http://www.eenee.de/eeneeHome/EENEE/Analytical-Reports.html

PRESENTATION AV Innehåll och slutsatser i delrapport 2 Processutvärdering av projektet Plug In PRESENTATION AV Innehåll och slutsatser i delrapport 2 Syftet med denna delrapport är lite att visa på var slutrapporten kommer att landa

Plug In Sveriges största ESF-finansierade projekt med en hög innovativ ambition på alla nivåer och i alla led

Resultat – några utgångpunkter Vad är resultat? Mått på effektivitet Förändrade beteenden Hänsyn till innovationer Viktigt inte dra allt för generella slutsatser utifrån enbart ett perspektiv - mycket som kan ligga bakom en förändring! Allt går inte att mäta, även en upplevelse är ett resultat (något som även är högst aktuellt i ESF, men även måste vi ta in det faktum att det innovativt. Effektivitet- hur snabbt får man jobb? Om endast detta så missar man dock andra viktiga faktorer så som vad var det som ledde till detta utfall- projektets aktiviteter eller , dess tidigare erfarenheter, konjunkturen m.m. Låt säga att ett projekt syftar till att ändra en persons destruktiva beteende med kriminalitet som följd. För några lyckas det, för andra inte. För de som lyckas ändra sitt beteende antar vi att projektets aktiviteter är skälet till förändring. Genom att göra en så kallad teoridriven utvärdering är det möjligt att göra bedömningar om resultat även om de inte uppmätts. I en teoridriven utvärdering utgår man från de antaganden projektet gjort för att kunna ange vilka effekter ett projekt bidragit till. Man utgår kort sagt från projektets ”logik”. Genom att jämföra antagandena med verkligt utfall kan man förklara varför och hur resultat uppstått och därigenom göra bedömningar i vilken grad projektet fått de önskade effekterna www.europeanminds.com

Omfattande datainsamling Kvantitativa data: Fem enkäter riktade till olika nivåer - Nationell styr/ledningsgrupp, Regionala styr/Lokala styr/ledningsgrupper, Regionala projektledarna i respektive region, Lokala verkstäder Kvalitativa data: Intervjuer Löpande utvärderingsaktiviteter Workshops och seminarier Omvärldsbevakning och litteraturstudier Kvantitativa- Sammanlagt har det genomförts fem olika enkäter En enkät riktad till den lokala nivån av Plug In. Denna har besvarats av 100 personer (73) som arbetar i de lokala verkstäderna. Av dessa är 56 kvinnor och 44 män. Fördelningen per region var enligt följande Göteborgsregionen 17 personer, Jämtland 15 personer, Kalmar och Södra Småland 18 personer, Västerbotten 29 personer och Östsam 18 personer. (3 av de 100 respondenterna har valt att inte besvara denna fråga). Tre styrgrupp/ledningsgruppsenkäter: Nationell styr/ledningsgrupp- besvarats av 5 personer varav 3 kvinnor och 2 män Regionala styr/ledningsgrupper- besvarats av 17 personer varav 10 kvinnor och 7 män. Fördelningen per region var enligt följande Göteborgsregionen 2 personer, Jämtland 5 personer, Kalmar och Södra Småland 2 personer, Västerbotten 3 personer och Östsam 5 personer Lokala styr/ledningsgrupper- besvarats av 57 personer varav 26 kvinnor och 31 män. Fördelningen per region var enligt följande Göteborgsregionen 18 personer, Jämtland 0 personer, Kalmar och Södra Småland 11 personer, Västerbotten 16 personer och Östsam 12 personer En enkät riktad till de regionala projektledarna i respektive region Exempel på kvalitativa insatser: Intervjuer Intervjuer med nationell projektledning Löpande utvärderingsaktiviteter Löpande dialog och återkoppling till nationell och regional projektledning Löpande medverkan och återrapportering vid månatliga regionala projektledarträffar Samverkan och samordning med effektutvärdering, Plug Innovation och Svenska ESF-Rådets utvärderingsnätverk  Workshops och seminarier Regionala workshops i samtliga fem regioner Lärseminarie med projektägare, regionala projektledare och representanter från de regionala styr/ledningsgrupperna Omvärldsbevakning och litteraturstudier Löpande genomgång och analys av projektdokumentation Analys av 25 lokala och regionala lägesrapporter fördelat på fem rapporter från respektive region. Lägesrapporterna innefattar redovisningar för verkstädernas/regionernas progression under tidsperioden januari 2013 tom oktober 2013 www.europeanminds.com

Resultat En annorlunda projektarkitektur får effekter… Horisontellt och vertikalt Positivt exempel för fortsatta satsningar på olika nivåer och områden (början på en möjlig modell för framtida samordning?) Frågan om drop-outs finns på agendan och börjar ta fäste. Ex RUS, RUP Många ungdomar har fått bättre möjligheter: Ökad identifiering - arbetet med KIA en succé som skapar försprång En mer utvecklad verktygslåda för aktörer som arbetar med frågan Ökad samverkan kring sakfrågan vertikalt och horisontellt Genom att involvera alla nivåer skapas förutsättningar och möjligheter att påverka på de olika nivåerna- många andra har utmaningar kring detta- genomslagskraft www.europeanminds.com

Region Västerbotten Omtag: Från regional utgångspunkt till lokal med regionala inslag; vad vann/förlorade man egentligen? Höga ambitioner vs realism/utfall? Lärande? Plug Ins verksamhet bedöms som innovativ och mervärdesskapande: Både styrgrupper och de som arbetar i verkstäderna tycker så (dock många gånger samma personer – betyder detta något?) Plug In bedöms skapa snabba resultat: Många av verkstäderna har dock pågått under en kort tid och man bedömer att det på olika sätt är för tidigt att uttala sig om generella resultat. De exempel som man lyfter fram visar dock på att arbetet redan ger resultat på lokal nivå, t ex vad gäller effekter hos målgruppen och samverkan: Att personer som hoppat av skolan vill återvända Mindre frånvaro/ökad närvaro och förbättrade skolresultat Ökad samverkan mellan relevanta aktörer på kommunal nivå och mellan kommunerna inom Plug In Regionsvis 20 min + 20-25 minuter redovisning www.europeanminds.com

Region Västerbotten Stor tilltro till projektets möjligheter att leda till implementering av nya arbetssätt: Man bedömer att det viktigaste för att lyckas med detta är att påverka politiker i rätt riktning… Utmaningar: Hur kan man arbeta med strategisk påverkan i projektets olika nivåer? Hur kan man involvera relevanta aktörer i detta arbete? Vad har styrgrupper på lokal och regional nivå för roll i detta? (styrgruppernas funktionalitet lite svåra att bedöma - vad betyder detta?) Behöver verkstäderna/lokala nivån ’samla’ ytterligare bevis (argument)? Regionsvis 20 min + 20-25 minuter redovisning www.europeanminds.com

Reflektioner Beställarrollen: Upphandlat projekt. Vad ville ESF testa/åstadkomma? Vilka svar har man fått? Flernivåprojekt: Modell för framtida satsningar? Projektlogik: Finns det olikheter i projektlogiken på de olika nivåerna? Hur påverkar detta i så fall? Pluginnovation: Hur har processen från innovation till funktion och implementering fungerat? Hur kan applikationen göra bäst nytta? Varför är det enklare att jobba med tillgänglighet än jämställdhetsintegrering? Skulle ökad elev- och föräldramedverkan bidragit till bättre projektkvalitet? Hur berikar transnationaliteten projektet? Vi tittar ju nu framåt inför slutrapporten och funderar på vilka områden som kan vara viktiga att titta närmare på och i dialog med er hitta en inriktning och diskussion kring frågan om var vi skall fokusera våra resurser. www.europeanminds.com

Fortsatta utmaningar Identifiera, verifiera och kommunicera olika former av resultat (vad är ’viktiga’ resultat? Vem beslutar vad som är viktigt?) Beskriva verktyg, metoder och modeller, dess funktion, värde, nytta Tydligt fokus på implementering (vad) men svårigheter att beskriva och genomföra implementeringsidén på lokal och regional nivå (hur) Tillgänglighet och jämställdhet – intressant/viktigt eller ESF-krav..? Regionsvis 20 min + 20-25 minuter redovisning Tillsammans resulterar detta i utmaningar kring att kunna fatta beslut om vidare arbete samt att sprida lärande och för andra att bygga vidare på gjorda erfarenheter www.europeanminds.com

Att omsätta projektresultat till utveckling i ’riktiga’ verksamheter Implementering Att omsätta projektresultat till utveckling i ’riktiga’ verksamheter

Feltänk…? Hur tänker vi på implementering? nåt som sker i senare delen av projektet..? nåt som ska hanteras av projektet? nåt vi är ’tvungna’ att göra (finansiärens krav) Jmf engelsk projektterminologi ’project implementation’ = genomförandefasen…

Feltänk 2… När projektet är slut går allt tillbaks till det ’normala’… Pengarna styr, at the end of the day handlar det alltid om resurser… Få se nu, vad var det projektet handlade om..?

Ansvars- /ägarförhållanden? Projektet ansvarar för att utarbeta resultat… …men vem/vilka ansvarar för att se till att de överförs i ordinarie verksamheter/arbete..? Projektet (t ex ESF-finansierade) har ofta bra stöd i att utveckla bra projekt och relevanta resultat – men hur ser det ut bland impl ansv?

Implementeringssamspelet PROJEKTET LINJE / PARTNERSKAP / INTRESSENTER

April, 2009: Rapporten “An Agenda for a Reformed Cohesion Policy” på begäran av Kommissionären for DG Regio, D Hübner “The most evident weaknesses which indicate the need for reform of cohesion policy are: A remarkable lack of political and policy debate on results in terms of the well-being of people, at both local and EU level, most of the attention being focused on financial absorption and irregularities.”

Förslag till regelverk från PARLAMENTET och RÅDET om allmänna villkor för Strukturfonderna “…Simplification of policy delivery, focus on results and increased use of conditiona-lity are among the major hallmarks of the next set of programmes….”

Results Based Management, RBM (1) RBM är en strategi där alla relevanta aktörer bidrar direkt eller indirekt till att uppnå resultat, ser till att processer, produkter och tjänster bidrar till att uppnå önskat resultat (direkta resultat, utfall och effekter), använder information och bevis på faktiska resultat för att informera beslutsfattare om utformningen, finansieringen och tillhandahållandet av program och aktiviteter samt hanterar ansvarsskyldighet och rapportering

Results Based Management, RBM (2) “…an organization should be ready to respond to changes in circumstances or performance and alter one’s approach if necessary, which requires… an analytical and performance-oriented approach to understanding what to do; a view of performance that is centred on beneficiary level outcomes; only thereafter moving toward identifying what resources, actions and outputs are necessary to get there; a need for information about the subject and a capacity to collect, process and analyse this information over time; a mechanism by which policy, planning and decision-making can be influenced by performance information…” Källa: ‘REVIEW: RESULTS BASED MANAGEMENT IN DEVELOPMENT COOPERATION’, Riksbankens Jubileumsfond

Nya utgångspunkter – nya utmaningar ”New public management” – off sektor som verkstad Thyra Franks exempel, Maciej Zarembas artikelserie/bok mål översätts till en övning i att mäta insatser (kvantitativa) gäller även EU; programmyndigheter prioriterar annat än resultat sens moral: ”…vi gjorde allt rätt, men patienten dog…” ”Transitions” – behov av systemutveckling, övergångar vi lever i en tid där de historiska fundamenten för det moderna samhället (tillväxt, effektivitet, specialisering, optimering) befinner sig i slutet av sin livscykel, när oförutsägbar och (allt oftare) chockartad förändring verkar oundviklig och när de kriser vi nu ser förtydligar behovet av systemskiften (t ex sociala innovationer, strukturförändring)

Hur kan vi säkerställa kvalitet (1)? Projekten tydlig projektstrategi projektmodell projektkultur projekt- och projektledningskompetens

Hur kan vi säkerställa kvalitet (2)? Implementerings-/ägar- och ledningsansvar Upprätta ’övergångsarenor’, dela problemdefinitioner och visioner Utveckla gemensamma bilder, koalitioner och övergångsagendor Mobilisera ’rätt’ aktörer för att utföra projekt och experiment (t ex att garantera att målgruppen är med) Motivera, utvärdera och främja lärande – 360 grader

Exemplet ’goda exempel’… när pengarna är slut och situationen är desperat (”burning platform” scenario) när politikerna kräver att implementering ska ske när offentligt anställda befinner sig i en så turbulent förändringsprocess att man för att komma vidare själv önskar hitta och använda sig av goda exempel

Behovet av sociala innovationer – vår chans? Nya förutsättningar Nya idéer 6. Systemförändring 1. ”Gnista” Nya tjänster och sätt att leverera dem Nya aktörer En medveten strategi med ett utvecklat kontinuerligt hanteringssystem Medvetet ledarskap, vilja att lära, att involvera alla medborgare för att skapa gemensam, önskad, hållbar utveckling 2. Förslag Nya förutsättningar Co-creation / Co-production Nya aktörer 3. Prototyper Nya tjänster och sätt att leverera dem Co production Nya förutsättningar Nya idéer Smart finansiering 4. Uthållighet 5. Skalning Nya förutsättningar Co-creation / Co-production Modellen utvecklad utifrån Young Foundation

Tack för mig och LYCKA TILL! Ulf Hägglund ulf.hagglund@europeanminds.com 070-6645478 www.europeanminds.com