Lärande utvärderingar genom processtödjande insatser och följeforskning! Göran Brulin, Sven Jansson 8 juni 2010

Kontrafaktiskt, kontrollerade experiment eller förståelse- och utvecklingsinriktad?

Operativt program (OP) Samspelet i Sverige 2007-2013 Socialfonden Regionalfonden ESF rådet Tillväxtverket OP RP Operativt program (OP) Regional plan (RP) OP ÖK RP OP ÖK RP OP RP OP ÖK RP OP Nina förklarar RP OP Strukturfonds- partnerskap i respektive region ÖK RP OP

Reflektioner efter föregående programperioder Riksrevisionen: För mycket detaljkontroll och övervakning – för små investeringar i lärande utvärdering som stöd för regional utveckling. ITPS: Stora investeringar i regional utveckling, små eller inga effekter på regional tillväxt kan identifieras, ”17,8 miljarder i sjön”. (Obs. denna utvärdering gällde första programperioden, ex post från förra är inte ännu producerad.) Statskontoret: För många små projekt, för splittrad projektportfölj, mycket liten samverkan mellan Regionalfonden och Socialfonden. Den traditionella halv-tidsutvärderingen utfördes för sent och hade liten påverkan på programgenomförandet, bör ersättas av ”ongoing evaluation” dvs. följeforskning i projekten och i programgenomförandet Generellt argumenterar all utvärdering för att det behövs mer återföring av resultat och erfarenheter.

Lärande utvärdering/ följeforskning på regional nivå: Gemensam Nationell strategi! Åtta regionala lärandeplattformar (Socialfonden) samt tre följeforskningsteam (som följer Reg fondens tre ÖK:n, norra, mellersta och södra). Skapa samverkansarenor mellan fonderna, dels på central nivå, dels på regional nivå. Nyttja synergier mellan de två fonderna så att vi skapar en regional bas för lärande och kunskapsåterföring.

ESF-Tillväxtverket samarbetar om utvärdering/följeforskning för att skapa: professionalisering och kvalitetssäkring av följeforskar-/utvärderarrollen. en regional struktur av processtödjande utvärderare och följeforskare för de åtta regionerna. utvärdera genomförande-organisationen där myndigheterna utgör varandras referensobjekt.

Professionalisering av följeforskar- och utvärderarrollen: Gemensam kurs och läromedel i utvärdering och följeforskning med Linköpings universitet. Framtagning av gemensam vägledningsskrift (som utgår från ”Nytta med följeforskning” och ”Handledning i uppföljning och utvärdering”) för lärande och utvärdering av strukturfonderna Nationellt nätverk för processtödjande följeforskare och utvärderare, nationell konferens, newsletter/skriftserie m.m.

Utvärdering för lärande: Erfarenhets- och kunskapsgrundad projekt- och programinitiering – nya projekt och program ska framledes bygga på erfarenheter och kunskaper från tidigare projekt och program. Följeforskning lägger grunden för kontinuerliga förbättringar - program och projekt tvingas med fortlöpande utvärdering göra vägval och argumentera för alternativa planer. En kritisk och konstruktiv följeforskning bör t o m kunna leda till att beslutade projekt och program avslutas om de inte leder i rätt riktning! Projektansökans gång utifrån förvaltande myndighets perspektiv

Vad innebär lärande utvärdering? Utvärderingen är användbar under resans gång! Löpande återföring och återkoppling av utveckling/resultat (bedömning av måluppfyllelse) Inte bara observatör ÄVEN kritisk och aktiv utvecklingsroll! Utvärderaren ska vara innanför med integritet

Tillväxtverket Stora strategiska projekt förväntas ha fortlöpande utvärdering (4 – 5 procent av projektbudgeten, 10 mkr EU-stöd) för kontinuerliga förbättringar. Nya projekt ska i framtiden bygga på erfarenheter och kunskaper från liknande projekt och expertstöd. Fortlöpande analyseras hur projekt bidrar till programuppfyllande och ger långsiktiga effekter. Följeforskarens uppgift är att bidra till lärande för förbättringar av regionala utvecklingsstrategier; skapa helheter; genomdriva horisontella kriterier; skapa lärande i den lokala och regionala kontexten. Målet är utveckling genom öppen och offentlig diskussion, jfr PUBLIC DEBATE.

SOCIALFONDENS MERVÄRDE I SVERIGE Version 20070323 SOCIALFONDENS MERVÄRDE I SVERIGE Mervärde ska skapas genom att göra det möjligt att påverka och förbättra: individer, gruppers situation i arbetslivet företagens strategier, produktivitet, tillväxt arbetsplatsernas formella och informella rutiner policy och idéutveckling inom politikområden, strukturer, institutioner

Uppföljning och utvärdering Version 20070323 Uppföljning och utvärdering Viktigt område där större ansvar läggs såväl på program- som projektnivå. Projektägare får större ansvar att följa upp och utvärdera sina insatser i syfte att bidra till lärande och god styrning. Syftar också till att öka projektresultatens genomslag.

Erfarenheter hittills För lite fokus läggs på utvärdering och lärande (både strategi och budget) Relativt ofta finns processutvärdering/ följeforskning Mer sällan slututvärdering med tex socioekonomiska bokslut Brister i analys av vem som ska påverkas, ta emot de resultat som kommer fram

Utvärderingsnätverk (ESF) En samordnare per kontor Bygga upp kunskap om utvärdering/uppföljning och strategisk påverkan Nätverket ska vara resurs för kollegor och myndigheten i dessa frågor

Processtödens och Temagruppernas samspel och insatser i projektens arbete och tidscykel Före ansökan Förberedelse / Förprojektering Genomförande Efter projektets slut Tillgänglighet och Jämställdhet Projektutveckling Lärande & strategisk påverkan De fem Temagrupperna: Ungdomar, Integration, Arbetsplatslärande, Entreprenörskap, Likabehandling

Indikatorer rapportering ESF-rådet skickar info till SCB om projekt SCB skickar länk till projektet Projektet registrerar händelser utifrån krav i indikatorer Uppgifterna skickas till SCB för bearbetning utifrån indikatorerna SCB samman ställer rapporter SCB gör eventuella sekretessprövning Rapporter utifrån behov önskemål

Utvärderingsuppdraget Förvaltande myndighet har delegerat ansvaret för utvärderingen = oberoende OCH verksamhetsnära Upphandla, koordinera och följa de utvärderingsinsatser som genomförs på programnivån Riktlinjer för utvärderingsinsatser på projektnivån Skapa arenor/förutsättningar för återföring och lärande genom exempelvis lärandekonferenser Synteser av alla utvärderingsinsatser – i förlängningen underlag för ”Public Debate”

Olika utvärderingsansatser och former för kunskapsbildning i projekt: Första utvärder- ingsgenerationen: Enkla mätningar och testningar. Vad har upp- nåtts? ”Realism” Andra utvärder- ingsgenerationen: Även framåtblick- ande. Utifrån det som gjorts, vad kan göras? ”Positivistisk ansats” Tredje utvärder- ingsgenerationen: Oberoende granskning som även ifrågasätter mål och metoder. ”Postmoderna och Fjärde utvärder- ingsgenerationen: Omfattande am- bitioner, dialog med olika intres., olika verkligheter. …konstrukti- vistiska ansatser Dags för en femte generation? Följeforskning, fortlöpande utvärdering, rationell vad gäller mål och medel, fokus på långsiktiga effekter. Målet är lärande (jmf ”Public debate”)! Projetansökans gång utifrån sökandes perspektiv.

Processtödjande utvärdering och följeforskning: För att dokumentera, återföra och gemensamt analysera best-practice i projekt och program. För effekt- och resultatuppföljning genom indikatorssystem och annan dokumentation för att identifiera best-practice och lära av processerna. För mer innovativa och effektiva insatser när det gäller nya jobb, minskat utanförskap, fler företag och regional tillväxt.

Lärandeåterföring Former/arenor, metoder Temagrupper Följeforskning Processtöd Seminarier för kunskapsutveckling, lärande och erfarenhetsutbyte Webbplats, projektbank Samverkan med andra program och regionala utvecklingsaktörer Capacity building, kurser, fortbildning, erfarenhetsutbyte, läroböcker

Uppdraget till utvärderingsgruppen Uppgifterna är att, administrera och utvärdera. Utvärderingarna ska ligga till grund för ett bättre mer innovativt regionalt utvecklingsarbete och sysselsättningsskapande. Vi måste våga vara föregångare! Vad att göra? Skapa lärsystem! Se till att nya projekt bygger på upparbetad kunskap och tidigare erfarenheter! Förbättra kvalitén i genomförandet!

Projektföljeforskning Projektlogik Processer för mottagande Public debate Förnya, Förbättra, Förstärka regionernas tillväxt

Projektlogik Hur ser realismen ut i projektet, kan projektet med givna resurser och planerade aktiviteter nå målen ? Hur ser möjligheterna ut för projektet att uppnå de uppsatta målen och resultat, tex vad gäller nya jobb och företag, både utifrån de inre och yttre förutsättningarna ? Kritisk granskning görs utifrån arbetssätt , aktiviteter samt kontexten. Tex ska stora forskningsrelaterade projekt ska leda till innovationer och kommersialisering, nya företag och jobb. Löpande återkoppling och reflektion med projektledning. Slutligen måste det finnas mottagarmiljöer..

Processer för mottagande i regionala miljöer Finns det en regional innovationsmiljö som kan ta emot de kunskaper och resultat som projektet genererat ? Finns det en struktur för implementering av projektets resultat i ordinarie verksamhet ? Finns det ett ”tänk” och en planering för överlämning av projektets resultat i den löpande projektverksamheten ? En analys av kopplingen mellan projektets direkta resultat och mer långsiktiga effekter. Löpande återkoppling och reflektion med projektledning.

Några observandum Bristfällig kompetens att upphandla processtödjande utvärdering och följeforskning. Roller och uppgifter ej klargjorda från början uppenbar risk att följeforskarna/utvärderarna kommer för nära projekten blir biträdande projektledare. Fokus i lägesrapporter redovisa utfall och aktiviteter, snarare än att kritiskt granska resultat och långsiktiga effekter. Frågan är om följeforskarna/utvärderarna förstår och klarar av att lyfta den kritiska granskningen och göra kopplingar till de övergripande målen. Brist på utvärderare som har erfarenheter av denna typ av utvärderingsansats brister. Medel som har avsatts för processtödjande utvärdering och följeforskning har ofta varit för små.

Prel iakttagelser kvalitetshöjare Tydligare krav på en plan för utvärdering ska finnas med i ansökan och nödvändiga medel för utvärdering avsätts Utöka tillgång till stöd för upphandling av utvärdering; till viss del finns det stöd inom stödprojekten i Socialfonden och Regionalfondens utvärderingsgrupp, men resurserna borde utökas och kvalitetssäkras. Utvärderarna bör ha dokumenterad kompetens av läande utvärdering, t.ex. ha genomgått högskoleutbildningen i lärande utvärdering och följeforskning som nu ges på sex lärosäten i landet.

Prel iakttagelser kvalitetshöjare Professionalisering genom att nätverk organiseras i alla regioner för en kontinuerlig fortbildning och ett professionellt erfarenhetsutbyte. SPeL har ansvaret för detta tillsamman med de regionala kontoren. Utvärderingen återförs tydligare till styrgrupperna i projekten, och utvärderaren kan adjungeras till vissa av styrgruppsmötena. Syftet med utvärdering måste tydliggöras och analys av resultat och effekter måste ingå i utvärderingen och bedömas i relation till kostnaderna för projekten. Hållbarheten i ska bedömas, dvs. projektens förmåga och/eller deras resultat att stå på egna ben efter det att finansieringen upphört eller ha integrerats i en befintlig verksamhet.

Prel iakttagelser kvalitetshöjare Projektens bidrag till att förändra, förbättra och förstärka regionala tillväxten och sysselsättningskapandet centrala frågor i utvärderingen och följeforskningen. Utvärderarna har även till uppgift att redovisa sina resultat till myndigheterna och att bidra till den offentliga debatten med hjälp av stödprojekt och berörda myndigheter.