Bord 1-4 Vem är lärandet till för? Vad ska läras? Vem ska lära? Bord 5-6 Hur lyckas med strategisk påverkan/Public debate? Bord 7,10,11 Utvärderarrollen. Coach? Analytiker? Strateg? Biträdande projektledare? Expert? Resursperson? Bord 12-13 Vem säkerställer att lärandet tas tillvara? Hur får vi mottagarna att ta tillvara och använda i befintlig verksamhet? Bord 14-15 Hur kan man följa effekterna av ett projekt? Efter projekttiden? Även oväntade effekter? Hur mäter, tolkar och värderar vi projektens effekter? Bord 17 Hur kan utvärdering bidra i tidiga skeden i projekten? Ex ante? Projektlogik? Beställarkompetens? Bord 19 Hur kan utvärdering stärka arbetet med de horisontella kriterierna? Bord 20 Görs utvärdering på ett enhetligt och konsekvent sätt så att man kan jämföra? kicki@brohusetfou.se

Välkommen till nationell konferens om lärande utvärdering/följeforskning Stockholm 23 september 2010

Utvecklingdynamiskt lärande och multiplikatoreffekter genom följeforskning och processtödjande utvärdering i projekt! Göran Brulin, ansvarig för följeforskning i de regionala strukturfondsprogrammen, Sven Jansson, nationell samordnare för utvärdering av det nationella Socialfondsprogrammet 23 sept 2010

Reviderande, kontrafaktisk eller utvecklingsstödjande utvärdering?

Operativt program (OP) Samspelet i Sverige 2007-2013 Socialfonden Regionalfonden ESF rådet Tillväxtverket OP RP Operativt program (OP) Regional plan (RP) OP ÖK RP OP ÖK RP OP RP OP ÖK RP OP Nina förklarar RP OP Strukturfonds- partnerskap i respektive region ÖK RP OP

Reflektioner efter föregående programperioder Riksrevisionen: För mycket detaljkontroll och övervakning – för små investeringar i lärande utvärdering som stöd för regional utveckling. ITPS: Stora investeringar i regional utveckling, små eller inga effekter på regional tillväxt kan identifieras, ”17,8 miljarder i sjön”. (Obs. denna utvärdering gällde första programperioden, ex post från förra är inte ännu producerad.) Statskontoret: För många små projekt, för splittrad projektportfölj, mycket liten samverkan mellan Regionalfonden och Socialfonden. Den traditionella halv-tidsutvärderingen utfördes för sent och hade liten påverkan på programgenomförandet, bör ersättas av ”ongoing evaluation” dvs. följeforskning i projekten och i programgenomförandet Generellt argumenterar all utvärdering för att det behövs mer återföring av resultat och erfarenheter.

ESF-Tillväxtverket samarbetar om utvärdering/följeforskning för att skapa: professionalisering och kvalitetssäkring av följeforskar-/utvärderarrollen. en regional struktur av processtödjande utvärderare och följeforskare för de åtta regionerna. utvärdera genomförande-organisationen där myndigheterna utgör varandras referensobjekt.

Professionalisering av följeforskar- och utvärderarrollen: Gemensam kurs och läromedel i utvärdering och följeforskning med Linköpings universitet. Framtagning av gemensam vägledningsskrift (som utgår från ”Nytta med följeforskning” och ”Handledning i uppföljning och utvärdering”) för lärande och utvärdering av strukturfonderna Nationellt nätverk för processtödjande följeforskare och utvärderare, nationell konferens, newsletter/skriftserie m.m.

Utvärderingsuppdraget Förvaltande myndighet har delegerat ansvaret för utvärderingen = oberoende OCH verksamhetsnära Upphandla, koordinera och följa de utvärderingsinsatser som genomförs på programnivån Riktlinjer för utvärderingsinsatser på projektnivån Skapa arenor/förutsättningar för återföring och lärande genom exempelvis lärandekonferenser Synteser av alla utvärderingsinsatser – i förlängningen underlag för ”Public Debate” 9

Den planeringsstyrda utvärderingsmodellen Resultat (summativ) Mätning/kontroll Identifiering av avvikelser Skriftlig Uppifrån Envägs Distanserat Slutet, förutsägbart Anpassningsinriktat 10

Produktionsprojekt R E Fokus på resultat Slutna förutsättningar – medel, mål och förutsättningar förutbestämda R E Förprojektering Effekter: Förväntade Lätta att mäta Uppnås automatiskt om projektet är lyckat Andras ansvar Ibland icke önskvärda

Den utvecklingsstödjande utvärderingsmodellen Process (formativ) Lärande/förståelse Multiplikatoreffekter Muntlig och skriftlig Integrerat nedifrån och uppifrån Tvåvägs Närhet Öppet, oförutsägbart Utvecklingsinriktat 12

Fokus på både resultat och effekter Utvecklingsprojekt Fokus på både resultat och effekter Öppna förutsättningar – medel, mål och förutsättningar analyseras och omprövas kontinuerligt R E + Förprojektering Effekter: Förväntade till viss del Svåra att mäta Uppnås inte automatiskt om projektet är lyckat Projektets ansvar Ofta uteblivna

Jämförelse SMART-kriterierna: målen ska vara Specifika, Mätbara, Antagna och Accepterade, Realistiska och Tidsatta. (Kontrafaktiska studier, semiexperiment och ceteris paribus-antaganden utgör grund för val av utvärderingsmetoder.) STRUFO-kriterierna: styrning mot Sysselsättning; Tillväxt; beständiga Resultat och långsiktiga effekter – genom Utvecklingsstödjande utvärdering som är Forskningsanknuten och Omvärldsrelaterad. (Fortlöpande dialog för kontinuerliga förbättringar, insatsen utmynnar i lär- och kunskapsprodukt.) 14

Vad innebär lärande utvärdering? Utvärderingen är användbar under resans gång! Löpande återföring och återkoppling av utveckling/resultat (bedömning av måluppfyllelse) Inte bara observatör ÄVEN kritisk och aktiv utvecklingsroll! Utvärderaren ska vara innanför med integritet

Projektföljeforskning Projektlogik Processer för mottagande Public debate Tre P:n som ska ge tre F: Förnya, Förbättra, Förstärka regionernas tillväxt och sysselsättningsskapande! 16

Projektlogik Hur ser realismen ut i projektet, kan projektet med givna resurser och planerade aktiviteter nå målen ? Hur ser möjligheterna ut för projektet att uppnå de uppsatta målen och resultat, tex vad gäller nya jobb och företag, både utifrån de inre och yttre förutsättningarna ? Kritisk granskning görs utifrån arbetssätt , aktiviteter samt kontexten. Tex ska stora forskningsrelaterade projekt ska leda till innovationer och kommersialisering, nya företag och jobb. Löpande återkoppling och reflektion med projektledning. Slutligen måste det finnas mottagarmiljöer.. 17

Processer för mottagande i regionala miljöer Finns det en regional innovationsmiljö som kan ta emot de kunskaper och resultat som projektet genererat ? Finns det en struktur för implementering av projektets resultat i ordinarie verksamhet ? Finns det ett ”tänk” och en planering för överlämning av projektets resultat i den löpande projektverksamheten ? En analys av kopplingen mellan projektets direkta resultat och mer långsiktiga effekter. Löpande återkoppling och reflektion med projektledning. 18

Tillväxtverket Stora strategiska projekt förväntas ha fortlöpande utvärdering (4 – 5 procent av projektbudgeten, 10 mkr EU-stöd) för kontinuerliga förbättringar. Nya projekt ska i framtiden bygga på erfarenheter och kunskaper från liknande projekt och expertstöd. Fortlöpande analyseras hur projekt bidrar till programuppfyllande och ger långsiktiga effekter. Följeforskarens uppgift är att bidra till lärande för förbättringar av regionala utvecklingsstrategier; skapa helheter; genomdriva horisontella kriterier; skapa lärande i den lokala och regionala kontexten. Målet är utveckling genom öppen och offentlig diskussion, jfr PUBLIC DEBATE.

SOCIALFONDENS MERVÄRDE I SVERIGE Version 20070323 SOCIALFONDENS MERVÄRDE I SVERIGE Mervärde ska skapas genom att göra det möjligt att påverka och förbättra: individer, gruppers situation i arbetslivet företagens strategier, produktivitet, tillväxt arbetsplatsernas formella och informella rutiner policy och idéutveckling inom politikområden, strukturer, institutioner

Uppföljning och utvärdering Version 20070323 Uppföljning och utvärdering Viktigt område där större ansvar läggs såväl på program- som projektnivå. Projektägare får större ansvar att följa upp och utvärdera sina insatser i syfte att bidra till lärande och god styrning. Syftar också till att öka projektresultatens genomslag.

Erfarenheter hittills För lite fokus läggs på utvärdering och lärande (både strategi och budget) Relativt ofta finns processutvärdering/ följeforskning Mer sällan slututvärdering med tex socioekonomiska bokslut Brister i analys av vem som ska påverkas, ta emot de resultat som kommer fram

Utvärderingsnätverk (ESF) En samordnare per kontor Bygga upp kunskap om utvärdering/uppföljning och strategisk påverkan Nätverket ska vara resurs för kollegor och myndigheten i dessa frågor

Lärandeåterföring Former/arenor, metoder Temagrupper Följeforskning Processtöd Seminarier för kunskapsutveckling, lärande och erfarenhetsutbyte Webbplats, projektbank Samverkan med andra program och regionala utvecklingsaktörer Capacity building, kurser, fortbildning, erfarenhetsutbyte, läroböcker

Några observandum Bristfällig kompetens att upphandla processtödjande utvärdering och följeforskning. Roller och uppgifter ej klargjorda från början uppenbar risk att följeforskarna/utvärderarna kommer för nära projekten blir biträdande projektledare. Fokus i lägesrapporter redovisa utfall och aktiviteter, snarare än att kritiskt granska resultat och långsiktiga effekter. Frågan är om följeforskarna/utvärderarna förstår och klarar av att lyfta den kritiska granskningen och göra kopplingar till de övergripande målen. Brist på utvärderare som har erfarenheter av denna typ av utvärderingsansats brister. Medel som har avsatts för processtödjande utvärdering och följeforskning har ofta varit för små.

Kvalitetssäkring: Krav på en plan för utvärdering ska finnas med i ansökan och nödvändiga medel för utvärdering avsätts Stöd vid upphandling av utvärdering. Utvärderarna bör ha dokumenterad kompetens av lärande utvärdering, t.ex. ha genomgått högskoleutbildningen i lärande utvärdering och följeforskning som nu ges på sex lärosäten i landet.

Kvalitetssäkring Professionalisering genom att nätverk organiseras i alla regioner för en kontinuerlig fortbildning och ett professionellt erfarenhetsutbyte. Utvärderingen ska återföras till styrgrupperna i projekten. Syftet med utvärdering måste tydliggöras och analys av resultat och effekter måste ingå i utvärderingen och bedömas i relation till kostnaderna för projekten. Hållbarheten i ska bedömas, dvs. projektens förmåga och/eller deras resultat att stå på egna ben efter det att finansieringen upphört eller ha integrerats i en befintlig verksamhet.

Kvalitetssäkring Projektens bidrag till att förändra, förbättra och förstärka regionala tillväxten och sysselsättningskapandet ska vara centrala frågor i utvärderingen och följeforskningen. Utvärderingarna ska utmynna i kunskaps- och lärprodukter som driver på den regionala tillväxten och sysselsättningsskapandet.