14. UTVÄRDERING = följeforskning

Varför? Därför att Kommissionen vill ha det Om projekt inte utvärderas kan du inte veta om du uppnått dina målsättningar Utvärdering gör att nästa projekt blir bättre Utvärdering förbättrar det projekt som utvärderas

UTVÄRDERING måste tas på allvar måste planeras in i projektet från början den planerade utvärdering måste beskrivas i detalj i ansökan

Nya regler för utvärdering Projekt har ofta producerat slafsiga utvärdering = t.ex. utvärderingar som bara granskar om projektet utfört de uppgifter som utlovats = te.x. utvärderingar som består av en rapport som författas av en utomstående person som kallas in efter det att projektet avslutats

Utvärdering / följeforskning För att mäta resultat måste du först fastställa läget vid startpunkten Det betyder att utvärderingen måste börja när projektet kör igång

Kommissionen har nu utfärdat en rekommendation som gäller just att utvärderingen måste finnas med från början Och för att betona att detta är nytt så har man i Sverige givit det en ny term ”följeforskning”

Tillväxtverket har producerat en publikation ”Nytta av följeforskning” som finns på Tillväxtverkets hemsida Rekommenderad läsning!

UTVÄRDERING Börjar med vad du lovade att uppnå eller åstadkomma i ansökan: Syfte, övergripande målsättningar Resultat Genomförandet

Det är lätt att räkna ut om man genomfört de element man lovat Kan vara lite svårare att förstå varför vissa element gick bra och andra dåligt Men det verkligt svåra är att mäta resultat och om målsättningar uppfyllts Denna presentation handlar om detta

Hur kan man mäta till vilken grad ett projekt har uppfyllt sina målsättningar eller givit förväntade resultat?

Fler typer av resultat kan mätas än man skulle kunna tro men vissa typer av resultat kan bara uppmätas långt efter projektets slut vissa resultat kan mätas men kostar mycket pengar och mycket tid och vissa typer av resultat kan inte mätas alls

Hur kan man översätta abstrakta och flummiga målsättningar till mätbara resultat?

Ett småföretagsprojekt kan ha målsättningar som: Att deltagande företag skall bli mer effektiva Att företag skall utveckla e-försäljning Att bidra till att öka sysselsättningen i regionen Att deltagande företag blir mer konkurenskraftiga Att deltagande företag startar kompetensutveckling för sina medarbetare

Att småföretag blir mer effektiva kan mätas på olika sätt: att de anställer fler människor att de säljer mer att de exporterar mer att antalet firmor som går i konkurs minskar att firmor får ökad omsättning bättre ledarkunskaper i företagsledningen

Att småföretag blir mer effektiva kan mätas på olika sätt: antalet småföretag som får kontrakt som underleverantörer nya export kontakter antalet småföretag som ägnar sig åt kompetensutveckling antalet anställda som fått gå på kurs.

Projekt för människor som står långt från arbetsmarknaden kan ha målsättningar som att deltagarna skall få jobb att deltagarna skall starta eget att de skall bli mera anställbara att de skall få kvalifikationer att de skall går vidare till studier att de skall integreras i samhället att de skall få bättre livskvalitet att de skall få nya kunskaper

Att integrera deltagarna på arbetsmarkanden kan mätas genom antalet deltagare som fullföljer kurser antalet deltagare som får jobb antalet deltagare som startar eget antalet deltagare som går vidare till annan utbildning antalet deltagare som deltar i programmet ofta och på rätt tid. förbättrade läs och skriv färdigheter

….och genom att mäta: antalet deltagare som deltar i frivilligt arbete antalet arbetsgivare som deltog med praktikplats, som skulle vilja anställa sina praktikanter om de hade lediga platser. ökad självsäkerhet hos deltagarna

engelsk utvärderingshandbok på website esfnews engelsk utvärderingshandbok på website esfnews.org: Measuring soft outcomes and distance travelled - särskilt bra för socialfondsprojekt

Utvärderingsmetoder

Utvärderingsmetoder Frågeformulär Enkäter Fokusgrupper Intervjuer Diskussion med deltagarna i små eller stor grupper under projektets gång Dagboksanteckningar Observation Deltagarnas kommentarer

Du kan behöva kommentarer från andra än deltagarna, t.ex. Småföretagens anställda Företagens kunder Lärarna i projektet Mentorerna Arbetsgivare som tillhandahåller praktikplatser

För att mäta resultat måste du först fastställa läget vid startpunkten

Läget vid starten är trafikflödet över ån innan den nya bron byggdes antalet jobb i småföretagen innan projektet kom igång företagsledningens kunskaper och färdigheter innan projektet startade deltagarnas kunskaper och färdigheter deltagarnas attityder och levnadssätt

Detta betyder att utvärderingen måste planeras i detalj innan projektet startar och sedan införlivas med projektet och vara en organisk del av projektets genomförande

Saker att tänka på när du planerar utvärdering Vilka metoder skall användas för att samla in data? När och hur ofta skall detta ske? Vem skall ta hand om insamlat material och kodifiera och tolka resultatet? …och vilka metoder skall användas? Hur mycket tid kommer utvärderingsprocessen att ta? …och vad kommer det att kosta? Skall vi anlita en utomstående expert?

Nya svenska regler för följeforskning I projekt som har en budget över 10 000 000 kronor måste en utomstående följeforskare anlitas I projekt med mindre budget måste egen utvärdering utföras

Viktiga arbetsuppgifter för följeforskaren i projekt är: – att löpande dokumentera hur projektet fortskrider, – att delta vid viktiga aktiviteter och möten i projektet, – att samarbeta med projektledaren i projektet, ge synpunkter och vara ett stöd och bollplank, – att löpande redovisa och skriftligt rapportera till ansvarig följeforskare på programnivå,.

Viktiga arbetsuppgifter för följeforskaren i projekt är: - att på förfrågan från Förvaltningsmyndighet och Partnerskapen kunna lämna redogörelser för följeforskningens fortskridande, – att hålla sig uppdaterad och informera sig om följeforskningen i andra projekt i programmet, – att självständigt återföra gjorda erfarenheter i projektet men även i övrigt i form av deltagande i offentlig diskussion, lärkonferenser och seminarier.

Utvärderingskravet innebär också att man måste vara försiktig med vad man lovar att åstadkomma i ansökan!

The first evaluation…. In the beginning God created the heaven and the earth. And God saw everything that He made. “Behold,” God said, “it is very good.” And the evening and the morning were the sixth day. On the seventh day God rested from all his labours. His archangel came unto Him asking, “God, how do you know that what you created is ‘very good’? What are your criteria? On what data do you base your judgement? Aren’t you a little close to the situation to make a fair and unbiased evaluation?”