Loke- ett system för lokal uppföljning och utvärdering

En presentation över ämnet: "Loke- ett system för lokal uppföljning och utvärdering"— Presentationens avskrift:

1 Loke- ett system för lokal uppföljning och utvärdering
Det är inte enbart forskning som betonas utan även att lokal uppföljning bör genomföras inom ramen för en evidensbaserad praktik. Här är ambitionen att skapa underlag för reflektion och lokalt förbättringsarbete på basis av erfarenhetsbaserad kunskap. Ny rapport – ute på remiss: vi i ett nära samarbete med socialstyrelsen – om hur lokal uppföljning utgör ett komplement till effektforskningen. Betonar att det lämpligtvis kan stödjas av FoU-enheter.

2 Lokal uppföljning och en evidensbaserad praktik
Forskning Praktikens erfarenheter Brukarnas erfarenheter Evidensbaserad praktik Forskning: Evidensbaserad kunskap Systematiska kunskapsöversikter Riktlinjer Nu promemoria från socialdepartementet med förslag på att SBU skall ansvara för arbetet med att göra kunskapsöversikter även inom socialt arbete i socialtjänsten Praktikens erfarenheter: Vad anser jag/vi som socialarbetare? Vad är våra erfarenheter av arbetet med individen/målgruppen? Vilka insatser kan vara lämpliga? Brukarnas erfarenheter: Vad anser brukaren/brukaren? Vad är hans/hennes/deras erfarenheter av olika typer av insatser? Vad tycker han/hon passar för han/henne? Vad tycker brukargruppen/brukarorganisationer är bra/lämpliga insatser för målgruppen? Sammanvägning: Forskningen har ett informativt syfte med att visa på vad som kan vara en lämplig insats i förhållande till en målgrupp När det sedan handlar om enskilda individer är det däremot inte säkert att det är lämpligt. En evidensbaserad praktik handlar i det fallet om att skapa transparens vad gäller överväganden och beslutsgrunder på basis av: Vad säger forskningen? Vad anser vi som professionella? Vad vill brukaren/brukarna? Lokal uppföljning (LOKE) och EBP Är INTE forskning. Handlar istället om att ta tillvara, systematisera och stödja utifrån: Praktikers dokumentation Brukares upplevelser. 2 2 2

3 Lokal uppföljning Behov av ”lokal”, systematisk empirisk uppföljning (Nationellt stöd för kunskapsutveckling inom socialtjänsten. SoS-rapport 2000:12.) Syfte: att systematisera praktikernas erfarenhetsbaserade kunskap Möjliggöra gemensam reflektion och skapa underlag för lokalt förbättringsarbete Det är inte enbart forskning som betonas utan även att lokal uppföljning bör genomföras inom ramen för en evidensbaserad praktik. Här är ambitionen att skapa underlag för reflektion och lokalt förbättringsarbete på basis av erfarenhetsbaserad kunskap. Ny rapport – ute på remiss: vi i ett nära samarbete med socialstyrelsen – om hur lokal uppföljning utgör ett komplement till effektforskningen. Betonar att det lämpligtvis kan stödjas av FoU-enheter. 4 nyckelord: Lokal Systematisk Empirisk Uppföljning Tanken är att detta skall möjliggöra: Gemensam reflektion Lokalt förbättringsarbete Väcker också frågor: Vad avses med ”lokal”? Vad innebär det att det ska vara systematiskt? Vad är empirisk för något? Vad är uppföljning? Vem är det som ska reflektera? Hur bör lokal uppföljning vara utformad för att bidra till ett lokalt förbättringsarbete? LOKE – en modell för uppföljning som är: Och som syftar till

4 Vad är uppföljning och utvärdering?
Ofta fokus på medel och hur dessa medel används Ofta kvantitativa mått Dokumenteras fortlöpande Kan utgöra underlag för utvärdering Utvärdering ”en noggrann efterhandsbedömning av genomförande, slutprestationer och utfall/---/vilken avses spela en roll i praktiska handlingssituationer” (Eriksson & Karlsson, 1998) Utfall – att ta reda på eventuella förändringar hos verksamhetens brukare genom exempelvis före-efter-mätningar eller måluppfyllelseanalys Avgränsad i tid – finns alltid en början och ett slut Refererar till verksamhetens inriktning/mål Innebär en (ut-) värdering Talar ofta om uppföljning och utvärdering i samma andetag Överlappar ofta varandra i praktiken, men har vissa särdrag Uppföljning Medelsanvändning – hur använder vi våra resurser? Systematisk – dokumenteras fortlöpande Underlag för utvärdering – kan handla om samma data, men man gör en värdering utifrån något eller några kriterier Utvärdering Till skillnad från uppföljning finns det alltid en tydlig början och ett tydligt slut – jfr projekt Finns kriterier för vad som borde göras/gjorts eller vad som borde ha uppnåtts

5 Olika syften Vad är syftet? Vilka är huvudfrågorna?
Vem formulerar syftet? Kontrollera och ge beslutsunderlag -Har man gjort det man ska enligt mål, beslut, lagar, riktlinjer, etc? -Den överordande nivån Främja och förbättra -Fungerar insatserna som det är tänkt? -Kan arbetet förbättras? -Professionella och brukare i verksamheten Kunskapsutveckla och kritiskt granska -Vad kan man lära? -Vems intressen tillgodoses? -Vem gynnas/missgynnas? -Forskarsamhället och en bredare extern publik Tablån Utformad i förhållande till utvärdering, men är även relevant för uppföljning Olika syften – alla äger sin rättmätiga legitimitet En uppföljning kan omfatta flera syften, men ofta är ett överordnat Soc-rapporten jag refererade till tidigare – betonar ett främjande syfte för lokal uppföljning i termer av att möjliggöra reflektion och att vara underlag för lokalt förbättringsarbete LOKE – även här huvudfokus på främjande och förbättring Karlsson, O. (1999)

6 LOKE som modell

7 Anammad teori Bruksteori Utgår från tankar om programteorier
Tänkt målgrupp Tänkt resultat Verksamhetsidé Tänkta insatser Målgrupp Personnummer/Person-ID Kön Härkomst Placerande enhet Anledning till kontakt Tidigare insatser Parallella insatser Inskrivningsdatum Utskrivningsdatum Insatserna Typ av insatser Antal insatser Etc. Utfall Orsak till avslut Verksamhets- specifika variabler Verksamhets- specifika variabler Utgår från tankar om programteorier De flesta har en rational för sitt handlande, men den är många gånger inte synlig Det finns ett flertal författare som skrivit om programteorier Vi utgår från Argyris och Schön De fokuserar på organisatoriskt lärande och verksamhetsutveckling Argyris och Schön gör en distinktion mellan anammad teori och bruksteori Anammad teori – den handlingsteori som fokuserar på vad människor tänker och säger att de gör om de blir tillfrågade Bruksteori - den teori som styr människors handlingar i realiteten Bruksteori (theory-in-use) (Argyris & Schön)– hur det faktiskt ser ut. Den teori som styr människors handlingar i realiteten I LOKE-arbetet Vår ambition är inte att värdera utan att Synliggöra förhållandet mellan anammad teori och bruksteori, och att Utgöra underlag för verksamheternas utvecklingsarbete Analysmöjligheter Vilka föreställningar har verksamheterna om sina målgrupper, insatser och resultat, samt förhållandet dem emellan (jfr anammad teori/chain of links/normativ teori)? Vilket reellt innehåll, inriktning, resultat Hur ser förhållandet ut mellan har t.ex. målgrupp och resultat eller insatser och resultat (jfr bruksteori/deskriptiva antaganden/kausativ teori) Hur ser förhållandet ut mellan idé och realitet (normativ teori/kausativ teori)? Här är det viktigt att komma ihåg att avvikelser från verksamhetsidén inte nödvändigtvis är ”fel”. Det kan vara så att det är verksamhetsidén som behöver förändras för att passa till hur det ser ut i realiteten. Snarare är tanken att analysen skall kunna utgöra ett underlag för reflektion. Bruksteori © Jan Hjelte, Jan Brännström och Christer Engström

8 Hur jobbar vi? LOKE som modell 4 delar/faser Verksamhetsidé
Verksamhetsbeskrivning Analys av verksamhetens tänkta målgrupper, insatser och resultat (verksamhetsidé) Återkoppling och förankring av förslag på verksamhetsidé Dokumentation av målgrupper, insatser och resultat Arbeta fram variabler tillsammans med verksamheten Bakgrundsvariabler Insatsvariabler Resultatvariabler Dokumentera Analysera Verksamhet (Norna) UFFE LOKE som modell 4 delar/faser Verksamhetsidé Ett koncentrat av verksamhetsbeskrivningen Förändras om verksamhetens inriktning förändras Berätta om tanken bakom verksamhetsbeskrivningen = intervjuer i en programteoriutvärdering Dokumentationen Utformas på basis av verksamhetsidén Analys Verksamhet – fortlöpande UFFE – årsvis – fördjupad analys Återkoppling Olika grupper har behov av olika informationsbehov Utformas i dialog med grupperna Steg 1 – Konstruktionen av en verksamhetsidé. Inledningsvis formulerar verksamheten en beskrivning av syftet med verksamheten, tänkt målgrupp, tänka insatser samt tänkt resultat. Därutöver dokumenterar de även andra faktorer såsom t.ex. vilka resurser de har till sitt förfogande. Detta sker i syfte att kunna sätta exempelvis insatserna och resultaten i ett organisatoriskt sammanhang. Därefter sänder verksamheten beskrivningen till oss, anlyserar verksamhetens tänkta målgrupp, tänkta insatser och tänkta resultat. Man skulle kunna säga att vi ”kondenserar” verksamhetsbeskrivningen så att den blir tämligen avskalad. Syftet med detta är att kunna få en snabb och överblickbar bild över verksamhetens målgrupp, insatser och resultat, men också förhållandet dem emellan. Därefter sänder vi tillbaka den ”kondenserade” versionen (verksamhetsidén) till verksamheten och den närmaste chefen. Tanken bakom detta är att det inte är vi som utomstående som äger frågan om vad verksamheten säger att den gör utan det gör verksamheten själv. Därför skall de godkänna eller revidera verksamhetsidén. Det står dem fritt att lägga till eller ta bort något i den version som vi sände till dem. Det är också viktigt att poängtera att verksamhetsidén är ett ”levande” dokument, d.v.s. om verksamheten förändras så förändras/omarbetas också verksamhetsidén. Steg 2 – Dokumentationen Framtagning av variabler. Dokumentationen sker till stor del på basis av verksamhetsidén, främst när det gäller insatser och resultat, men också vissa bakgrundsvariabler såsom t.ex. ”huvudsaklig anledning till inskrivning”. Dokumentation. Dokumentationen sköts till stor del av verksamheterna själva. Det vi bistår med under själva datainsamlingsprocessen avgränsar sig främst till att ta hand om, och mata in, enkäter där vi mäter utfallet. När det gäller målgrupp och insatser är det uteslutande verksamheterna själva som gör detta. Analys. Efter att data samlats in sammanställer och analyserar vi materialet. Återkoppling. Därefter återkopplar vi den analyserade statistiken. Först sker detta till verksamheterna. Anledningen till detta är att undvika felkällor. Man kan säga att vi försöker ”validera” data. Därefter kan vi sedan återkoppla till ledning och till politiker som anpassas utifrån deras behov av information. Styrgrupp Vår erfarenhet är att det är centralt med en styrgrupp som består av ledningsrepresentanter från linjeorganisationen. Annars risk för att det inte upplevs som en linjefråga utan något som kommer ”utifrån”, i vårt fall UFFE. När vi började fanns ingen styrgrupp. Det gick inledningsvis också trögt att få in data. Efterhand upptäckte vi att upplevelsen i verksamheterna var att ”UFFE” ville få in statistiken, d.v.s. det var inte linjeorganisationens intressen utan UFFES särintressen som stödfunktion. Då beslutade vi att inrätta en styrgrupp där Socialchefen (motsvarar nuvarande verksamhetschef) samt enhetschefer ingick och där vi var adjungerande. Efter detta förmådde vi på ett bättre sätt lyfta frågan tillbaka till linjeorganisationen och att vi var en stödresurs. Det var inte i vårt intresse som uppföljningen skedde, och sker, utan för politiker, ledning, verksamhet, praktiker, och kanske främst brukarna. Brukarnas erfarenheter av insatser och resultat Det sistnämnda för oss in på brukarnas erfarenheter av insatser och resultat. I en mening kan man säga att brukarnas erfarenheter samlas in genom före- och eftermättningar som genomförs i de flesta verksamheter för att studera eventuell förändring. Utöver detta används även en brukarenkät som i större utsträckning fokuserar på brukarnas upplevelser av insatserna och om de upplever någon förändring av sin livssituation. För närvarande håller vi på att göra en s.k. faktoranalys av brukarenkäten och den kommer inte att behandlas närmare här. Återkoppla Enskilda verksamheter Ledning Politiker © Jan Hjelte, Jan Brännström och Christer Engström

9 LOKE-processen och brukarens upplevelser
Brukaren gör själv en skattning av sin livssituation när hon/han avslutar sin kontakt med enheten? Har det blivit bättre? -En del av underlaget för att bedöma om insatserna kan avslutas Brukaren gör själv en skattning av sin livssituation när hon/han kommer till enheten? -En del av underlaget för valet av insatser Insatser dokumenteras av personalen vid enheten Utgångspunkten Använd inte mer skattningar än ”vad nöden kräver” Vad som är relevant utifrån de förändringar ni vill åstadkomma i brukarnas livssituation Vad som är relevant för valet av insatser Dessa bilder innan man kommer in på LOKE Norna. Det kan ju även ske skattningar under resans gång, men det får man ta muntligt. IFO-perspektiv. Gissningsvis andra formuleringar om det är frågan om ÄO eller socialpsykiatri. Då är det inte en lika tydlig början och slut. Inte heller är det säkert att ambitionen är att det ska bli bättre. Inom äldreomsorgen kan det handla om att upprätthålla funktioner eller att försämringar av funktioner skall gå långsammare. Brukare och personal genomför insatser Brukaren kommer till enheten Brukaren avslutar kontakten med enheten

10 LOKE Norna

11 LOKE Norna Enligt de fornnordiska sagorna bodde tre nornor under ödesträdet Yggdrasil. Nornorna sades kunna sia om människornas dåtid, nutid och framtid.

12 LOKE i praktiken Arbetet med Norna föregås alltid av ett LOKE-arbete
Variabler och mätinstrument väljs utifrån enhetens verksamhetsidé och mål Norna är ett exempel på ett verktyg för uppföljning. Vill visa på hur ett system kan ge återkoppling på flera nivåer – från brukare till ledning Loke Norna bygger på LOKE som teoretisk modell. Det är förutsättningen för att verksamheterna har en god grund för uppföljning och utvärdering. Genom arbetet med LOKE som modell har verksamheterna redan arbetat igenom sin verksamhetsidé och kommit fram till vad det är som skall följas upp. Med enheter menar vi enskilda verksamheter på kommunal nivå som ex. Ungdomsboendet.

13 LOKE Norna är ett verktyg
i behandling för uppföljning av behandling för uppföljning på enhetsnivå för utvärdering av enheten Norna baseras på byggbara moduler. Alla enheter som använder Norna har tre gemensamma uppföljningsmoduler. Det är modulerna inskrivning, process och utskrivning. Modulerna utgår dock alltid från enheternas önskemål, vilket gör att de ibland kan ha olika variabler för uppföljning. Loke Norna bygger på LOKE som teoretisk modell. Det är förutsättningen för att verksamheterna har en god grund för uppföljning och utvärdering. Genom arbetet med LOKE som modell har verksamheterna redan arbetat igenom sin verksamhetsidé och kommit fram till vad det är som skall följas upp.

14 Kunskapsbildning på flera nivåer – Genom LOKE Norna
Organisation Enhet Individ Brukare och personal genomför insatser Brukaren kommer till enheten Brukaren avslutar kontakten med enheten

15 För UPPFÖLJNING OCH UTVÄRDERING på enhetsnivå
Genom att Norna verkar både på enhetsnivå och på en övergripande nivå, har chefer och ledare enkelt tillgång till den statistik som verksamheten genererar. Vilken statistik som presenteras, bestäms i samråd med chefen för den specifika enheten. Statisktiken kan sedan användas för utvärdering och utveckling av enheten.

16 Månadsvis sammanställning
Viktigare är ju istället de månadsvisa sammanställningarna! Här ser vi de månadsvisa sammanställningar som min enhetschef ville ha; in- och ut skrivna under månaden, män/kvinnor.. Detta system är byggt i Excel – från arbetsbokskopplingar till presentationerna. Det är inte särskilt komplicerat, men det har tagit en hel del tid.

17 …. och årsvis sammanställning

18 I BEHANDLING och UPPFÖLJNING av behandling
De enheter som väljer Norna som uppföljningsverktyg har själva hand om sin egen uppföljning och statistik. Enheten får en egen mapp på nätverket för uppföljning där det i sin tur skapas en arbetsbok i Excel för varje klient. Det innebär att personalen kan följa varje klient under behandlingen. Uppföljning presenteras i grafer för enklare hantering.

19 återkoppling uppföljning framgång
De enskilda enheterna sätter brukaren i fokus. Modulerna utformas så att brukarna kan följa sin process i öppenvården.

20 Inskrivning

21 Hjälplister med enheternas egna variabler

22 Process

23 Avslut

24 Övriga moduler utgår ifrån enheternas olika önskemål om uppföljning.
Det kan t.ex. vara metodiska skattnings-formulär som tidigare använts i pappersformat och förts in i papperspärmar.

25 Modul för Ungdomstjänst
Timmarna kan planeras för arbete och särskilt anordnad verksamhet. F.V står för frånvaro eller avvikelse från den planerade tiden.

26 Exempel på enhetens egna formulär.

27 Formulären kan generera resultat i en grafisk presentation

28 Personalen får direkt feedback via grafisk presentation gällande återkommande uppföljningar.
Här visas som ex. grafer som är kopplade till processmodulen.

29 Fler exempel…

30 Norna kan visa om enheten gör vad den säger att den gör!
Sammanfattning LOKE Norna Verktyg i behandling för uppföljning av behandling för utvärdering på enhetsnivå Synliggör och visualiserar enhetens insatser som ex. antal träffar, vilken typ av behandling och vilket utfall insatsen har haft. Digital hantering och sammanställning av arbetsmaterial – Hållbart! Kan användas direkt med klienten – för att ex. visa på förändring. Norna kan visa om enheten gör vad den säger att den gör!

31 LOKE och implementering

32 Kärnkomponenter i implementeringsprocessen
Urval av användare Administrativt stöd Träning/utbildning Både metoden och processen Program- utvärdering Handledning konsultation Personalutvärdering Fixsen, Naoom, Blase, Friedman & Wallace (2005)

33 Administrativt stöd - urval och utbildning
Förankring på ledningsnivå Organisatoriskt stöd (tid, teknik och stöd) Intresse, lämplig kompetensnivå Relaterad till arbetsuppgiften Implementering av komplexa metoder och beslut tar 3-5 år Utbildning ger inte ensam effekt Förankring på ledningsnivå – visar ledning, både i tanke och handling, att det är viktigt och prioriterat Organisatoriskt stöd – tid/utrymme, teknik (t.ex. datorer) Intresse och lämplig kompetensnivå – ”Bit där det är mjukast” Relaterat till arbetsuppgiften – kännas meningsfullt och inte avvika från rådande rational i alltför stor utsträckning. Vad är målet med arbetet, vilka kunskaper behövs etc. Utbildning ensamt ger inte effekt – erfarenhetsbaserat lärande, både görande och dialog Uthållighet – implementering tar minst 3-5 år Man gräver där man står Funderar man på om en metod är relevant flyger information om enskildheter förbi till dess att man är där

34 Programutvärdering Kontrollera om implementeringsprocessen har genomförts Följ upp om metoden/beslutet i fungerar i praktiken (teorin) Når metoden brukarna? Hur har verksamheten och personalen påverkats Positiva/negativa effekter för andra verksamheter Kontrollera om implementeringsprocessen har genomförts – har de olika stegen genomförts på det sätt som det var tänkt? Hur ser det administrativa stödet ut, förankring, handledning, etc. Detta för att inte tillkortakommanden skall gå att härleda till själva implementeringen Följa upp om metoden fungerar Når metoden brukarna – LOKE: dokumenterar man såväl bakgrund, insatser och resultat eller är det något som inte funkar och i så fall varför? Har Verksamhet/personal påverkats – Nya sätt att tänka/handla? Positiva/negativa effekter för andra verksamheter – nya gränsdragningar och andra grupper får ta ansvar för ”nya” målgrupper Hur blir det för avnämarna?

35 Kommunikation av resultat och utvecklingsfrågor
EC/Verksamhet ansvarar för att kommentera återkopplade data till IFO-chef./Utv. ledare. Utvecklingsområden? IFO-chef ansvarar för återkoppling och presentation av material till FL/Politiker FL/Politiker IFO-chef/Utvecklingsledare Enhetschef/Verksamhet Uppföljning av föregående års ev. utvecklingsområden. Gemensamt ansvar: FL/Pol för att det efterfrågas. IFO-chefer för att det presenteras. Uppföljning av föregående års ev. utvecklingsområden. Gemensamt ansvar. IFO-chef/Utv. ledare för att det efterfrågas, EC/Verksamhet för att det presenteras. Utv. områden formulerade av FL/Pol Utv. områden formulerade av IFO-chef/Utv. ledare

36 Att tänka på Genomförandet i praktiken Vilka variabler är relevanta?
Systematisk dokumentation Huvudfokus – vad betyder insatserna för brukarna? Organisatoriska förutsättningar IT-stöd – en förutsättning Organisering av tiden Förankring – kontinuerlig återkoppling utgör en central förutsättning Styrning/Ledning Finns det utrymme för reflektion på olika nivåer i organisationen? Hur kommuniceras erfarenheterna på och mellan nivåer i organisationen? Är medarbetarna delaktiga i utformningen? Värdesätter vi förändring och utveckling? I så fall, hur kommer det till uttryck? Förändring tar tid Vilka variabler är relevanta? Handlar om att skapa lokal mening ända ner i det direkt brukararbetet Systematik – utan systematik blir det svårt att jämföra över tid Vad betyder insatserna för brukarna – brukarna i fokus. Blir det bättre, eller åtminstone inte sämre

37 Vill Du veta mer? Jan Hjelte, forskningsledare UFFE jan.hjelte@umea.se
Daniel Örnberg, metodutvecklare Stefan Nybom, Samordnare barn/unga, temaledare SKL/psynk