SWEDISH AGENCY FOR ECONOMIC AND REGIONAL GROWTH 1 Slutsatser från följeforskningen Göran Brulin, ansvarig för lärande utvärdering och följeforskning i de regionala strukturfondsprogrammen

SWEDISH AGENCY FOR ECONOMIC AND REGIONAL GROWTH Följeforsknings- och utvärderingsin- satser enligt utvärderingsplan: •Syntes av alla olika utvärderingsinsatser (till våren 2012 ÖK:n). •Fortsatt samarbete med Socialfonden kring Lärande utvärdering genom följeforskning (i februari kommer ”Managing Sustainable Development Programmes på Gower, se bilaga). •Underlag från projektföljeforsknings-sammanställningen, rapport om horisontella kriterier, storstadsprojekten och infrastruktur. •Fortsatt följeforskning av riskkapitalfondsprojekten, Ramböll. •Planering av effektutvärdering. 2

SWEDISH AGENCY FOR ECONOMIC AND REGIONAL GROWTH 33 Nästa programperiod och Europe 2020: Den lärande utvärderingen genom följeforskning ska bidra till ett effektivt genomförande av strukturfonderna i linje med Lissabon-agendan och den nationella strategin. Resultat som leder till långsiktiga effekter, strukturförändringar och strategisk påverkan ska dokumenteras och återföras. Styrnings- och utvärderingsuppgiften definieras i förslaget till utvärderingsansats på följande sätt: “Monitoring and evaluation, the public expects managing authorities to fulfil two essential tasks when running a programme: •to deliver the programme in an efficient manner (the management of a programme) and •to verify whether a programme has delivered the desired effects.” Men kan komma att utvidgas: I strategin Europe 2020 trycker man på att strukturfonderna nästa programperiod ska bidra till ”smart, sustainable and inclusive growth” och att det är avhängigt förmågan till s.k. smart specialisering. Genom smart specialisering ska dubbelarbete, bristande synergier, likartade projekt etc. undvikas.

SWEDISH AGENCY FOR ECONOMIC AND REGIONAL GROWTH 44 Denna programperiod, följeforskning på tre nivåer som givit: • Gemensam följeforskning av genomförandeorganisationerna av de regionala strukturfondsprogrammen och Socialfondsprogrammet. • Slutrapporter från följeforskningen i de åtta programmen. • Erfarenheter och kunskaper från projektföljeforkskningen – syntes och sammanfattning från ca hälften dvs. 60 projektföljeforskningsinsatser.

SWEDISH AGENCY FOR ECONOMIC AND REGIONAL GROWTH 55 Slutrapporten från följeforskningen i de bägge genomförandeorganisationerna: •Socialfonden respektive de regionala strukturfondsprogrammen har ett utvärderingsuppdraget som formulerats som ”lärande utvärdering genom följeforskning”. Ett system för utvärdering och lärande har organiserats. Dock saknas fortfarande en fungerande utvärderings- och lärkultur (vilket är avgörande för smart specialisering). •Emellertid har programkontoren, programcheferna och programstödet ”drunknat” i administration och regeltolkning. Kraven på granskning, kontroll och rapportering i projekten har ryckt undan grunden för uppgiften att ge stöd och erfarenhetsåterföring i programgenomförandet (jmf Statskontoret/Sweco Eurofutures utredning). •En besvärande slutsats är att initiering, prioritering och genomförande av projekt fortfarande inte görs utifrån upparbetade kunskaper och erfarenheter! Genomförandet präglas av ad hoc hantering och användning av ”tyst kunskap”, mindre av systematisk prövning av projekten mot ”best practice”, ”world-class” o.s.v.

SWEDISH AGENCY FOR ECONOMIC AND REGIONAL GROWTH 66 Slutsatser från följeforskningen i de åtta programmen: •Projekt för ökat entreprenörskap och näringslivsutveckling har svårt att leva upp till kraven på att vara nyskapande. Entreprenörskapsinsatserna och stödet till näringslivsutveckling är alltför breda. De har snarare inriktats mot att få fram fler ”levebrödsföretag” än entreprenörskap i innovationsföretag och stöd till utveckling av tillväxtföretag i linje med den nationella strategin. Resurserna har gått till relativt traditionella genomförare som inte tillfört särskilt mycket nya kunskaper, exempelvis om stöd till växande, innovativa medelstora företag. •Erfarenheter från entreprenörskapsprojekten förs allt för sällan in i reguljär verksamhet. •Entreprenörskapsinsatser som drivs integrerat i innovationsprojekt är mer framgångsrika i relation till de övergripande målen för strukturfonderna jämfört med projekt som bara fokuserar entreprenörskap i sig.

SWEDISH AGENCY FOR ECONOMIC AND REGIONAL GROWTH 77 •Insatser för ökad innovationskapacitet är mer nyskapande, experimenterande och framgångsrika! De mest framgångsrika insatserna handlar om att på olika sätt öka den regionala innovationskapaciteten. En stor satsning, på 2,4 miljarder SEK, har gjorts på ägarkapital i tolv riskkapitalfondsprojekt. Denna satsning infriar ambitionerna att strukturfonderna ska användas för experimentverksamhet. •Förvånansvärt stora resurser går till ”vardagsinnovationer” i stora företag med tanke på de övergripande målen i den nationella strategin att programmen ska stödja nyskapande inom innovativa områden. Men stöd till vardagsinnovationer är inte nödvändigtvis fel i ljuset av de övergripande målen för sammanhållningspolitiken. De kan vara avgörande för den regionala konkurrenskraften! Slutsatser från följeforskningen i de åtta programmen:

SWEDISH AGENCY FOR ECONOMIC AND REGIONAL GROWTH 88 •En slutsats är att strukturfondsprojekten innebär att regionala innovationssystem blir mer klusterdynamiska. När ”triple-helix-projekt” har initierats från forskarsamhället/akademin behövs åtgärder som gör innovationssystemen mer entreprenörskapsstödjande, fördjupar samarbetet med näringslivet utifrån företagens behov och uppmuntrande till kompetensmobilitet mellan akademi och näringsliv. •Hittills har dock inte innovationsprojekt inneburit investeringsobjekt för riskkapitalprojekten, även om de inneburit att ett antal investeringar gjorts som inte skulle blivit av. •I de regionala innovationsmiljöerna knyts både stora företag, SMEs och myndigheter samman med högskolor och universitet!! •Men med högskolor och universitet som projektägare riskerar forskningslogiken att dominera över innovationslogiken. •Det skulle behövas mer experimenterande med alternativt ägande av strukturfondsprojekten för att stärka innovationslogiken. Slutsatser från följeforskningen i de åtta programmen:

SWEDISH AGENCY FOR ECONOMIC AND REGIONAL GROWTH 99 •Ett ”performance-oriented implementation” borde handla om hur strukturfondsprojekten ger stöd i senare skeden i innovationsprocesserna, när produkter, tjänster och processer kan leda till kommersiella genombrott. •De horisontella kriterierna spelar inte allt för stor roll i programgenomförandet! De ska enligt programmet medverka till att miljö, jämställdhet och mångfald/integration ger stöd hållbar tillväxt. De har knappast använts för att främja tillväxten regionalt, trots att det var avsikten. Däremot har de använts för lika möjligheter och att motverka diskriminering. •Bristerna är stora i uppföljnings- och indikatorsystemet – reliabilitet, validitet, dödvikt och rena logiska fel föreligger (jämför Findit). •Ett effektivare genomförande kräver smart specialisering; färre likartade projekt i olika programområden; mer samarbete mellan projekt; tydligare brobyggande mellan strukturfondsprogrammen och forskningsprogrammen o.s.v. Slutsatser från följeforskningen i de åtta programmen:

SWEDISH AGENCY FOR ECONOMIC AND REGIONAL GROWTH 10 • Material: Ca 40 slutrapporter på projektnivå (27 hittills) - Kontakt med ca 10 projektföljeforskare där slutrapport ännu inte är klar. Utöver detta har även programföljeforskningsrapporter använts och en sökning efter projektföljeforskning i övriga europeiska länder gjorts. • Vägledande frågeställningar rör följeforskningens och projektens karaktär, resultat och effekter. • Analytiskt ramverk: Samverkan, Ägarskap, Lärande Systematisk genomgång av slutrapporter från följeforskningen av projekt - Preliminära resultat

SWEDISH AGENCY FOR ECONOMIC AND REGIONAL GROWTH 11 • Det verkar inte finnas motsvarande följeforskning på projektnivå i andra EU-länder, där används mer traditionella ansatser (jmf 3 C, Counterfactual, Control groups/Experiment samt CBA). • Större konsultföretag dominerar som utförare av följeforskningen men med forskare kontrakterade. • Många följeforskare arbetar interaktivt och konsultativt med projekten, en betydande andel av följeforskningen kan dock betraktas som summativ, med en tyngdpunkt mot slutet av projektperioden. • Flera följeforskare arbetar med en kombination där de är både processtöd och kritiskt utvärderande, men nästan lika många har ett kritiskt utvärderande perspektiv utan den processtödjande ansatsen. • Många slutrapporterna är av beskrivande karaktär och flertalet bygger sina resonemang på empirisk analys snarare än en teorigrundad analys (jmf Theory-based impact evaluation). • Många av slutrapporterna har allt för stort fokus på aktivitet, utfall och kortsiktiga resultat! Preliminära resultat:

SWEDISH AGENCY FOR ECONOMIC AND REGIONAL GROWTH 12 • De horisontella kriterierna får lite utrymme i slutrapporterna, tillväxtperspektivet saknas. • De allra flesta slutrapporter ger svar om projektens måluppfyllelse, dock förhåller man sig allt för lite till de övergripande målen med programmet och den nationella strategin. • Endast en minoritet av slutrapporterna kan visa att följeforskningen bidragit till avgörande förändringar i projekten. Preliminära resultat:

SWEDISH AGENCY FOR ECONOMIC AND REGIONAL GROWTH Mekanismer för hållbart utvecklingsarbete i projekt och program: SAMVERKAN UTVECKLINGSINRIKTAT LÄRANDE AKTIVT ÄGARSKAP

SWEDISH AGENCY FOR ECONOMIC AND REGIONAL GROWTH 14 Slutsatser från projektföljeforskningen, aktivt ägarskap: •Ägarskapet i projekt är ofta svagt eller ibland t.o.m. obefintligt. Bristen på aktivt ägarskap är ofta en följd av hur projektet har initierats, prioriterats och hur det styrs. •Bristande aktivt ägarskap innebär att projektet lever vid sidan av ägarorganisationen och att resultat från projektet inte förs in i reguljär verksamhet i ägarorganisationen. • Några fördjupade diskussioner/analyser av projektorganisering, ägarskap och styrning återfinns inte i rapporterna (undantag finns).

SWEDISH AGENCY FOR ECONOMIC AND REGIONAL GROWTH 15 •3M-projekten är ett illustrativt exempel på brister när det gäller det aktiva ägarskapet. Länkarna mellan aktivt ägarskap, professionell styrning och kompetent ledning har inte fungerat tillfredsställande. •3M har varit en punkt på dagordningen för projektägaren, den ekonomiska föreningen HälsingeUtbildning, men det är oklart om de mycket kritiska frågorna som projekten brottades med diskuterades, inga tydliga direktiv eller idéer om hur man skulle handla kom från styrgruppen. •Flera mycket intressanta processer startades genom 3M-projekten, men för att långsiktiga effekter ska äga rum måste en regional aktör gå in och ta på sig ’ägarskapet’ så att resultaten av projekten ska tas om hand och blir långsiktiga effekter! •Ett annat exempel på brister i det aktiva ägarskapet gäller projektet Syster Gudruns fullskalelabb, där projektföljeforskarna har visat att den tjänsteinnovation som håller på att utvecklas – distansoberoende sjukvårdstjänster – riskerade att överhuvudtaget inte övervägas att introduceras av Blekinge Läns Landsting, d.v.s. projektägaren. Slutsatser från projektföljeforskningen, aktivt ägarskap: Exempel:

SWEDISH AGENCY FOR ECONOMIC AND REGIONAL GROWTH 16 •Projektens samverkan är ofta allt för begränsad, allt för formaliserad, sällan dynamisk och involverar inte företagen iutvecklingsarbetet. •Samverkan uppstår inte av sig själv, utan behöver stödjas och organiseras. • I de flesta projekten kan den samverkan som sker karaktäriseras som en samverkan enligt ’Triple Helix’. • I den utsträckning någon aktörssfär är dominerande i samverkan så är det oftast offentliga aktörer eller akademiska aktörer. Slutsatser från projektföljeforskningen, samverkan:

SWEDISH AGENCY FOR ECONOMIC AND REGIONAL GROWTH 17 •AFOC – Acreo Fiber Optic Center är ett exempel på bristande samverkan i en regional innovationsmiljö. •Den finns en betydande överlappning bl.a. forskningsprojekt, avhandlingsarbeten och labbmiljöer. Det behöver på en strategisk nivå finnas mer av ett systemtänkande kring fiberoptikens möjligheter, bl.a. för att finna avnämare för olika tillämpningar, som kan leda till nya företag och expansion hos redan befintliga. •Strävan att skapa excellenta forskningsmiljöer får inte gå ut över möjligheterna att på en mer ’marknära’ och pragmatisk nivå arbeta med de produkter och tjänster som har förutsättningar att generera nya företag och att stimulera expansion inom redan befintliga företag i regionen. • I projekt som ”Den intelligenta inlandsvägen” (P 2 ) och projekten runt ”Peak Innovation” har projektföljeforskarna visat att om det ska bli några innovationer måste reell samverkan med näringslivets olika aktörer, företagen och internationella aktörer som befrämjar export genomföras! Peak Innovation har etablerat sig som ett ledande kluster för affärsutveckling och forskning inom vintersport, turism och friluftsliv i Jämtland. Ett strategiskt samverkansnätverk har skapats. Forskningen har förstärkts. Stödsystem för produkt- och tjänsteutveckling har etablerats. Slutsatser från projektföljeforskningen, samverkan: Exempel:

SWEDISH AGENCY FOR ECONOMIC AND REGIONAL GROWTH 18 •Återföring av erfarenheter och kunskaper som stödjer strukturomvandling sker inte i tillräcklig omfattning. Det saknas en medvetenhet om att de regionala strukturfondsprogrammen enligt den nationella strategin har ett särskilt ansvar för lärande som leder till multiplikatoreffekter. • Ytterst få slutrapporter talar om multiplikatoreffekter, men i några fall framgår att processer sker som ger multiplikatoreffekter. •Regeringskansliet har bett länen att ta fram regionala lärandeplaner för att öka lärandet, spridningen och de långsiktiga effekterna. Slutsatser från projektföljeforskningen, utvecklingsinriktat lärande:

SWEDISH AGENCY FOR ECONOMIC AND REGIONAL GROWTH 19 •Projektet FindIT illustrerar hur det borde vara; den övergripande målsättningen är att bidra till konkurrenskraft i Gävleborgsregionen genom effektivare och smartare affärssystemlösningar. •Det innebär för det första att antalet anställda som jobbar med affärssystem måste minska men bli mer kompetenta. •För det andra måste de 170 företag som arbetar med affärssystem i regionen antagligen halveras och uppgraderas avsevärt så att de kan samarbeta med internationella leverantörer som SAP. •För det tredje måste FindITs se till att affärssystem, som tjänsteinnovation, blir ett naturligt inslag bland företagen i regionen – trots att Sandvik flyttar HK till Stockholm. Projektföljeforskningen var förutsättningen för att projektledaren kunde få förståelse för att FindIT bara genom att aktivt försämra kärnindikatorerna nya jobb och nya företag kunde nå framgång! Slutsatser från projektföljeforskningen, utvecklingsinriktat lärande: Exempel:

SWEDISH AGENCY FOR ECONOMIC AND REGIONAL GROWTH 20 Projektföljeforskningen är:  Formativ, dvs. processbaserad, sker löpande och studerar måluppfyllelse men är medveten om att målen kan förändras över tid;  studerar samband mellan process och resultat;  är kritiskt granskande och kommer in tidigt i ett projekt;  kräver en närhet till deltagarna och deras engagemang, ska vara till direkt nytta för olika berörda;  förutsätter en kontinuerlig återkoppling som kan ske med olika ambitionsnivåer,  skapar samverkan och gemensam kunskapsbildning mellan olika aktörer;  ger upphov till multiplikatoreffekter som leder till utvecklingsinriktat lärande !

SWEDISH AGENCY FOR ECONOMIC AND REGIONAL GROWTH Altough the Swedish implementation of the ERDF programmes can improve it has in certain respects DELIVERED: • structural change, innovation and growth in all of Sweden! The structural funds are playing an important role in experimentation and learning for structural change, innovation and competence development in Sweden! • According to the OECDs territorial report 2010 the regional structural fund programmes have been decisive for the Swedish orientation towards innovation. The Swedish and not least European paradox have meant large investments in R&D but up till now quite poor outcomes in innovations. However, it seems less and less to be a Swedish paradox whereas it still lingers as a European. Changes initiated by not least the Regional structural fund programmes seem to bear fruit in more innovations, a change in export pattern towards high- tech services and more entrepreneurial universities. • The Swedish implementation could be viewed as the seeds for future structural policy in EU. According to many experts, such a policy is urgently needed to complete the financial support to member states!