Lärande utvärdering. - Teoretiska utgångspunkter Lärande utvärdering - Teoretiska utgångspunkter - Praktiska konsekvenser - Samtal i grupp Örenäs slott 23 oktober 2009

Idag fokus på lärtänkande, inte metoddetaljer som Svarsfrekvens Bortfall Tillförlitlighet Pålitlighet Indikatorer (rätt/bra/viktiga) Frågor (rätt/bra/viktiga) Kvantitativa eller kvalitativa metoder (rätt/bra/effektiva) Urval (deltagare/grupper/nivåer) Hinder (språk mm) Kontrollgrupp

Upplägg 13:00 Inledning 13:10 Teorigrund 13:50 Paus 14:00 Första samtalet 14:50 Paus 15:00 Andra samtalet 15:50 Paus 16:00 Uppsamling, stöd, fortsättning 16:30 Slut Utvärdering via webben

Kan framtiden förutsägas och planeras? Handuppräckning Lättare i fysiska projekt än mänskliga?

I dagsläget (oktober 2008) är 57% av tunneln färdigbyggd I dagsläget (oktober 2008) är 57% av tunneln färdigbyggd. Borren Åsa har sedan leveransen byggt över 3300 meter genom åsen. I dagsläget uppskattas kostnaden för tunnelbygget att sluta på 10,5 miljarder kronor (2008 års byggkostnadsläge), vilket är cirka elva gånger mer än vad som ursprungligen budgeterades när projektet påbörjades 1989. Man räknar år 2008 med att normala dubbelspåriga järnvägstunnlar kostar 150-200 milj kr/km[källa behövs] , ett antal har byggts, medan denna kostar 1,2 miljarder/km. Tunnelbygget beräknas bli klart 2015, nitton år efter den ursprungliga uppskattningen.

Olika synsätt Rationellt tänkande Instrumentellt och funktionellt synsätt Medel A leder till mål B Slutet system Stabil omgivning Systemtänkande Dynamiskt synsätt Helhetsperspektiv Öppet system Interagerar med omgivningen Två synsätt på projekt som påverkar utvärderingstänkandet SYSTEMTÄNK Allting påverkar och påverkas av allting annat i omgivningen. Helheten är större än summan av delarna. Ett sätt att betrakta världen. Betydelsen av mångfald av perspektiv. Förstå relationer, funktioner, sammanhang och mönster. Organisationer är öppna, pluralistiska och evolutionära.

Planeringsstyrda projekt Processtyrda projekt Planering, budgetering, uppföljning. Rationellt, enkelt, entydigt Process, delaktighet, förändring, dialog, kultur, omvärld. System.

Lärande typer (Ellström, 1992) Anpassningsinriktat Vad – åtgärda Kontrollera Reproduktivt lärande Utvecklingsinriktat Varför – förstå Reflektera Kreativt lärande En organisation som inte utmanas fastnar lätt i rutiner och ett anpassningsinriktat lärande. Utvärdering bör föra in frisk data i systemet (nyheter om skillnader) som möjliggör ett utvecklingsinriktat lärande.

Utvärderingstyper Summativ Formativ Varför? Kunskap att bedöma Kunskap att förändra Vad? Resultat och effekter Praktik och process När? Sällan, efteråt Ofta, under tiden

Planeringsstyrda projekt och summativ utvärdering Stimulerar ett anpassningsinriktat lärande

och formativ utvärdering Processtyrda projekt och formativ utvärdering Systematisk reflektion Stimulerar ett utvecklingsinriktat lärande

En lärande utvärderare Engageras tidigt och har nog med tid Är mer processkunnig än metodexpert Kombinerar närhet med kritisk distans Stödjer och stör (farthinder) Organiserar gemensamma lärmiljöer Involverar intressenter och samlär Sprider information Balanserar omedelbar nytta med långsiktiga effekter 7. Inte bara samlar

Centrala begrepp Dialog Delaktighet Kontinuerlig återkoppling Kollektivt lärande Kritisk reflektion

Metoder och arbetssätt DATAINSAMLING Egendokumentation Enkäter Intervjuer Fokusgrupper DATABEARBETNING Fokusgrupper Seminarier Workshops Nätverk

Projektresultat och Programmål S P R I D N I N G Effekt Resultat Projekt Idé Absorbering (implementering) Inse värdet av resultatet Tillgodogöra sig den (anpassa till vs) Använda den (se till att den tas upp för åtgärd/beslut om hantering) Bidra till offentlig debatt

1. Hur kan utvärderingen organiseras för lärande och projektutveckling? Hur kan utvärdering på ett naturligt sätt struktureras in i processen? Utvärderaren kommunicerar inte med oss. Vi kan inte påverka utvärderingen. Räcker det med att utvärderaren sitter i styrgruppen? Processen, inte målen, är det mest relevanta. Omformulera målsättningen?

2. Hur kan utvärderingen bidra till att påverka ordinarie verksamheter? På vilket sätt har kompetenshöjningen gett avtryck i det dagliga arbetet? Hur prioritera och planera implementeringsarbetet? Hur värdera hur mjuka faktorer påverkar företagens tillväxt? Coachin är en process som kan ge effekt långt senare. Hur kan man lyfta det? Applicerbarheten i praktiken av utbildningsinsatsen Hur analysera projektets resultat i jämförelse med ordinarie verksamhet och identifiera framgångsfaktorer? Projektet innehåller en mängd olika aktiviteter och målgruppen har kommit olika långt vilket kan försvåra spridningen av resultatet.

Exempel ur en offerttext: Syftet med processutvärderingen är att vid punktinsatser under projektperioden redovisa och analysera - deltagarnas synpunkter - projektets genomförande i relation till ansökan - projektets organisation, insatser och metoder - faktorer som rör programkriterier - aspekter som rör de horisontella kriterierna Processutvärderingen innebär att systematiskt följa och dokumentera projektets genomförande och att studera förutsättningarna för att de uppställda program- och projektmålen ska nås. Värdet av en sådan utvärdering ligger i att den kan synliggöra varför projektet lyckas bra eller mindre bra, det vill säga analysera hur och varför målen har nåtts eller inte. Varje insats dokumenteras i en projekt- och rådgivningsrapport till projektägaren.

Syftet med processutvärderingen är att vid olika punktinsatser under projektperioden redovisa x, y, z och organisera lärseminarier med strategiskt viktiga intressenter för att analysera delresultaten, utveckla projektprocessen och sprida erfarenheter. Varje insats dokumenteras i en delrapport som används till ett studiematerial inför analysseminarierna. Processutvärderingen innebär att systematiskt följa och dokumentera projektets genomförande och att stödja projektet så att de uppställda program- och projektmålen nås samt leder till hållbara effekter.

Processtöd till projekt Direktstöd Nätverk för utvärdering och lärande Regionala seminarier/workshops

Extrabilder

STRUKTUR ORGANISATIONER Direkt Indirekt För-ändring Absorbering Strategisk påverkan Lärande ESF-PROJEKT

Lärande utvärdering – följeforskning

Lärande utvärdering och strategisk påverkan Resultat Idé Projekt Effekt Planering, budgetering, uppföljning Aktivering Medverkan, delaktighet, demokrati, dialog, organisationskultur Metoder: Sökkonferens (tratten), studiecirkel Nätverk Regional utveckling: kluster, koalitioner, allianser, industriella distrikt, innovativa system (Medicon Valley)