Leder verkligen användning av ett strukturerat instrument till ”bättre” bedömningar? Henrik Andershed, Professor Anna-Karin Andershed, Fil.dr. Verksamma vid Akademin för juridik, psykologi och socialt arbete Örebro universitet

Betydelsen av bra bedömning/utredning Kan vi komma fram till vilka insatser en ung person behöver om vi inte innan vet vilka specifika behov han/hon har? Sannolikt inte Kan vi ge effektiva insatser om vi inte – innan - vet vilka specifika behov den unge och familjen har? Helt fundamentalt med bra/behandlingsrelevanta bedömningar! Vi bör bland annat bedöma/identifiera risk- och skyddsfaktorer för att veta vilka de specifika behoven är Då ger vi oss bra förutsättningar för insatserna

Betydelsen av samstämmiga bedömningar/utredningar Det får inte vara utredar-/personbundet hur en bedömning/utredning blir Vi ska sträva efter samstämmiga bedömningar Vi förväntar oss väl samma diagnos/resultat av två olika läkare? Vi ska förvänta oss samstämmiga bedömningar av professionella som arbetar med ”psykosocialt utredningsarbete”, t.ex: psykologer, socialsekreterare, psykiatriker, m.fl.

Vad är bra risk-behovsbedömning? (se Andershed & Wirius, 2010) Strukturerad Tydliga definitioner finns och samtliga risker och skydd bedöms hos alla klienter – ökar chanser till hög samstämmighet (s.k. interbedömarreliabilitet) Fokus på forskningsbaserade risker och skydd Identifierar de specifika risker och skydd som är i behov av insatser hos klienten Risk-skyddsprofil Visar tydligt vad insatser bör fokusera på

Vad är bra risk-behovsbedömning. (forts Vad är bra risk-behovsbedömning? (forts.) (se Andershed & Wirius, 2010) Tar hänsyn till ev. fallspecifika risker/skydd som inte finns med i bedömningsinstrumentet Uppföljande bedömningar Kan lätt kommuniceras över verksamhetsgränser/användas av alla verksamheter

Exempel på strukturerade bedömningsinstrument (se www. socialstyrelsen Exempel på strukturerade bedömningsinstrument (se www.socialstyrelsen.se) För att bedöma risk- och skyddsfaktorer för normbrytande/aggressivt beteende hos unga Early Assessment of Risk List for Boys / Girls (EARL 20-B / EARL 21-G) Syfte: att bedöma risken för antisocialt beteende hos pojkar/flickor under 12 år, samt tjäna som bas för val av insatser Structured Assessment of Violence Risk in Youth (SAVRY) Syfte: bedöma risken för våld bland ungdomar, 12-18 år, samt tjäna som bas för val av insatser ESTER Evidensbaserad STrukturerad bEdömning av Risk och skyddsfaktorer.

Vad är ESTER? (se Andershed & Andershed, 2010) Evidensbaserad STrukturerad bEdömning av Risk och skyddsfaktorer. Ett forskningsbaserat bedömningssystem som innehåller (1) ett screeningsystem (ESTER-screening) (2) ett strukturerat bedömningsinstrument (ESTER-bedömning). Ett datorstöd som förenklar tolkning av resultat, professionellt samarbete, etc. Risk-behovsbedömning av risker och skydd bland unga (0-18 år) med eller i riskzonen för normbrytande beteende Kan användas både i förebyggande och behandlande sammanhang ESTER

Att användas av alla verksamheter som arbetar med barn och ungdomar Samtliga som går utbildning kan använda ESTER (oavsett förkunskaper) Använder ett neutralt, basalt språk och sätt att mäta risker och skydd som alla verksamheter ska kunna acceptera, hantera och tycka är relevant Förbättra kommunikation och samarbete mellan verksamheter Datorstödet förenklar samarbete

ESTER-bedömning Forskningsbaserat strukturerat risk-behovsbedömningsinstrument av risker och skydd för normbrytande beteende 19 risk- och skyddsfaktorer Beslutstöd inför insatser Inbjuder till uppföljande bedömningar (t.ex. före och efter insatser) Datorstöd som förenklar tolkning, presentation och samarbete

Risker som bedöms med ESTER-bedömning Hos den unge Hos familjen Trotsighet, ilska eller oräddhet Överaktivitet, impulsivitet eller koncentrationssvårigheter Svårigheter med medkänsla, skuld eller ånger Bristfälliga språkliga förmågor eller skolprestationer Negativa problemlösningar, tolkningar eller attityder Nedstämdhet eller självskadande beteende Normbrytande beteende Alkohol- eller droganvändning Problematiska kamratrelationer Föräldrarnas egna svårigheter Svårigheter i föräldra-barnrelationen Föräldrarnas svårigheter med uppfostringsstrategier

Skydd som bedöms med ESTER-bedömning Hos den unge Hos familjen Positiv skolanknytning och prestationer Positiva förhållningssätt eller problemlösningar Positiva umgängen och aktiviteter Den unges medvetenhet och motivation Föräldrarnas ork, engagemang, eller stöd Föräldrarnas positiva attityder och uppfostringsstrategier Föräldrarnas medvetenhet och motivation

Bedömning av en riskfaktor i ESTER-bedömning

Bedömning av risk- och skyddsfaktorer –Minst två av dessa källor

Datorstöd Användarvänligt Underlättar: Tolkning och presentation av resultat Visualiserar resultaten på enkelt sätt Rapporterna som produceras kan användas direkt med föräldrar och den unge Samarbete mellan kollegor och verksamheter Kan enkelt dela och flytta klient till annan ESTER-användare

Risk-skydds profil

Sammanställning över tid av varje risk- och skyddsfaktor – I detta fall har fyra bedömningar gjorts

Struktur (instrument) bättre än ostruktur (inget instrument)? En vanlig hypotes bland forskare: Bedömningar som görs med hjälp av ett strukturerat instrument leder inte bara till samstämmiga och adekvata bedömningar utan också mer adekvata och samstämmiga bedömningar jämfört med när ett strukturerat instrument INTE används Stämmer det?

Vad visar tidigare forskning om detta? Bedömningar med hjälp av instrument ger relativt bra till riktigt bra samstämmighet Studier på t.ex. instrumenten EARL-20B och SAVRY Bedömningar utan strukturerade instrument tenderar att vara mindre samstämmiga – men svårt att uttala sig om T.ex. mindre vinjettstudier som studerat socialsekreterares bedömningar Vi saknar studier som jämför bedömningar som gjorts med och utan ett strukturerat instrument Vi vet egentligen inte om t.ex. SAVRY, EARL-20B eller ESTER-bedömning är ”bättre” än ostrukturerade bedömningar!

Leder användning av ESTER-bedömning till samstämmiga bedömningar Leder användning av ESTER-bedömning till samstämmiga bedömningar? (Andershed m.fl., 2010) Två oberoende ESTER-bedömare bedömer – helt oberoende av varandra – samma ungdomar 30 flickor på SiS-institution

(Andershed m.fl., 2010)

Slutsatser av den studien? Ganska bra till riktigt bra samstämmighet Är glaset halvfullt eller halvtomt? Vi behöver jämföra med något!

Mer samstämmigt än vad? Leder användning av ESTER-bedömning till: mer samstämmiga bedömningar mer ”korrekta”/adekvata bedömningar mer behandlingsmässigt relevanta bedömningar att man missar färre viktiga saker i bedömningar jämfört med när man INTE använder ett strukturerat instrument?

(Andershed & Andershed, in prep.) Are Structured Assessments of a Youths’ Risks and Needs Really Better Than Unstructured? – A Case Vignette Study (Andershed & Andershed, in prep.)

Metod: Vinjettmetoden Steg 1: Vinjetten författas och realismskattas av två praktiker med erfarenhet av socialt arbete med unga. Skattningen blev 9,5 av 10. Steg 2: En strukturerad kategorisering görs av de saker som beskrivs i vinjetten och delas upp i två kategorier: (1) forskningsbaserade riskfaktorer (2) forskningsbaserade skyddsfaktorer Steg 3: Vinjetten bedöms: Med hjälp av ESTER-bedömning av 30 oberoende socialsekreterare Utan något strukturerat instrument av 30 andra oberoende socialsekreterare Steg 4: Samtliga utlåtanden/bedömningar läses igenom av två oberoende forskare vilka bedömer vilka risk- och skyddsfaktorer som tagits upp i de 60 bedömningarna Steg 5: För att även få ett mått på vad andra praktiker anser om de aktuella bedömningarna lät vi sedan andra praktiker – socialchefer - bedöma de 60 bedömningarna Är bedömningen adekvat/bra? Missas viktiga områden? Var blinda inför (de visste ej) om bedömningen ifråga var gjord med ESTER-bedöming eller ej.

60 socialsekreterare + fyra socialchefer deltog i studien 30 socialsekreterare - använde ESTER-bedömning Samtliga utbildade i ESTER 28 kvinnor – 2 män Ålder mellan 25 och 60 år. Medelålder= 40,1 år (SD=10,61). Arbetat i snitt 7,8 år som socialsekreterare och 6,8 år med utredning av barn och ungdomar. 30 socialsekreterare - använde inget strukturerat instrument (de flesta använder BBIC som stöd) 27 kvinnor – 3 män Ålder mellan 25 och 59 år. Medelålder= 37,9 år (SD=9,83). Arbetat i snitt 8,6 år som socialsekreterare och 6,4 år med utredning av barn och ungdomar.

Metod: Totalt 60 socialsekreterare + fyra socialchefer (forts.) Två chefer bedömde samma 30 bedömningar Dvs. två oberoende bedömningar av samtliga 60 bedömningar Svarade på frågor såsom: På hela taget en adekvat bedömning? Missat något? Föreslås rätt insatser?

Instruktioner till de 60 socialsekreterarna + Övergripande information om studiens syfte, etc.

Vinjetten Totalt 1,5 A4-sidor

Frågeformuläret till de 60 socialsekreterarna

Formuläret till socialcheferna

Vilka riskfaktorer finns i vinjetten? Överaktivitet, impulsivitet eller koncentrationssvårigheter Kalle har enligt klassföreståndaren svårt att koncentrera sig längre stunder, blir lätt störd av andra och ligger efter i flera ämnen i skolan. I något enstaka ämne ligger han väldigt långt efter de övriga i klassen. Det händer då och då att Kalle gör och säger saker utan att tänka efter före, t.ex. svarar rakt ut i klassen utan att räcka upp handen. Han är väldigt fysiskt aktiv, rastlös och sitter sällan stilla längre stunder, något som gör att han bland annat stör andra elever under lektionstid. Svårigheter med medkänsla, skuld eller ånger Kalle blev enligt mamman inte speciellt skakad av att ha åkt fast för snatteriet. Han har inte uttryckt någon oro över detta eller pratat om det på något sätt. Bristfälliga språkliga förmågor eller skolprestationer Ligger efter i flera ämnen i skolan. I något enstaka ämne ligger han väldigt långt efter de övriga i klassen. Mamman och pappan oroar sig mycket för Kalles skolgång. De är måna om att Kalle ska ha en bra skolgång och pratar ofta med honom om hur viktigt det är med skolan. De ser att han hamnar efter och att han har svårt att sitta still och koncentrera sig längre stunder. De har det också svårt med att få honom att göra läxor hemma.

Vilka riskfaktorer finns i vinjetten? (forts.) Normbrytande beteende Kalle blev hemskjutsad av polisen för ett par veckor sedan då han åkt fast för snatteri i en matvaruaffär. Han hade snattat flera godispåsar och blev tagen på bar gärning i butiken av väktare. Då erkände han för polisen (som kallades till butiken) att han tagit saker i butiker flera gånger förut, det senaste halvåret, ca 5-10 gånger. Alkohol- eller droganvändning Mamman berättar också att de som föräldrar noterat att Kalle har börjat dricka alkohol. De har ibland (ca 2-3 gånger i månaden enligt mamman) fester hemma hos någon i fotbolls eller innebandylaget och Kalle kommer då hem och luktar alkohol. Så har det varit under det senast halvåret ungefär. Problematiska kamratrelationer Kalle uppger då också till mamman att han alltid gör detta (snattar) tillsammans med ett antal kamrater från innebandylaget som också tar saker i butikerna. Svårigheter i föräldra-barnrelationen De hamnar i diskussioner och t.o.m. bråk med Kalle nästan varje dag på grund av hans svårigheter i skolan och att han inte gör sina läxor, etc. Ibland blir de så osams så att Kalle inte vill prata med föräldrarna på flera dagar. Föräldrarnas svårigheter med uppfostringsstrategier Ibland blir de så osams så att Kalle inte vill prata med föräldrarna på flera dagar. Mamman säger att hon och pappan inte vet hur de ska hantera detta.

Resultat: Vilka riskfaktorer identifierar man? 97 % av de 30 socialsekreterare som använde ESTER-bedömning identiferade denna riskfaktor i vinjetten Riskfaktor Med ESTER-bedömning (n=30) Utan instrument (n=30) Överaktivitet, impulsivitet eller koncentrationssvårigheter 97%+ 83% Svårigheter med medkänsla, skuld eller ånger 60%** 7% Bristfälliga språkliga förmågor eller skolprestationer 87% 73% Normbrytande beteende 97%* 80% Alkohol- eller droganvändning Problematiska kamratrelationer 77%** 30 Svårigheter i föräldra-barnrelationen 40% Föräldrarnas svårigheter med uppfostringsstrategier 90%** 37% De 30 socialsekreterare som använde ESTER-bedömning var mer genomgående mer framgångsrika i att identifiera de olika riskfaktorerna * ** eller + innebär signifikant skillnad mellan grupperna.

Resultat: Hur många av dessa åtta riskfaktorer har man identifierat? 37 % av de 30 socialsekreterare som använde ESTER-bedömning identiferade samtliga riskfaktorer i vinjetten Resultat: Hur många av dessa åtta riskfaktorer har man identifierat? 0 % av de 30 socialsekreterare som INTEanvände ESTER-bedömning identiferade samtliga riskfaktorer i vinjetten Antal riskfaktorer man identifierat Med ESTER-bedömning (n=30) Utan instrument (n=30) Samtliga 8 37% 0% 7 20% 10% 6 30% 5 13% 17% 4 23% 3 2 3% 1 7%

Vilka skyddsfaktorer finns i vinjetten? Positiv skolanknytning och prestationer Han har flera kamrater, i sin egen och andra klasser på skolan som han umgås med under skoltid och verkar trivas väldigt bra med dem. De spelar ofta fotboll eller innebandy utomhus på rasterna. Positiva förhållningssätt eller problemlösningar Kalle är enligt klassföreståndaren en ”go, trevlig och artig kille som är lätt att tycka om”. Positiva umgängen och aktiviteter Föräldrarnas ork, engagemang, eller stöd Båda föräldrarna är alltid med på föräldramöten och någon av dem kommer på utvecklingssamtalen angående Kalle. De visar ett stort intresse för Kalles skolgång och undrar ofta hur det går för honom i skolan. Klassföreståndaren säger att föräldrarna verkar väldigt engagerade i Kalle.

Resultat: Vilka skyddsfaktorer identifierar man? 37 % av de 30 socialsekreterare som använde ESTER-bedömning identiferade denna skyddsfaktor i vinjetten Skyddsfaktor Med ESTER-bedömning (n=30) Utan instrument Positiv skolanknytning och prestationer 37%** 0% Positiva förhållningssätt eller problemlösningar 20%* Positiva umgängen och aktiviteter 43%** 3% Föräldrarnas ork, engagemang, eller stöd 57%** 7% De 30 socialsekreterare som använde ESTER-bedömning var mer genomgående mer framgångsrika i att identifiera de olika skyddsfaktorerna * eller ** innebär signifikant skillnad mellan grupperna.

Resultat: Hur många av dessa fyra skyddsfaktorer har man identifierat? Antal skyddsfaktorer man identifierat Med ESTER-bedömning (n=30) Utan instrument (n=30) Samtliga 4 10% 0% 3 20% 2 3% 1 17% 33% 94% 94 % av de 30 socialsekreterare som INTE använde ESTER-bedömning identiferade inga skyddsfaktorer i vinjetten

Resultat: Socialchefers uppfattning om bedömningarna Med ESTER-bedömning (n=30) Medelvärde Utan instrument (n=30) T-värde (fg) På hela taget en adekvat/bra bedömning? 1. Inte alls adekvat 2. I viss mån adekvat 3. Adekvat 4. Mycket adekvat 2,78 2,42 2,43*** (58) Missat att uppmärksamma saker? 1. Nej 2. Ja, något enstaka 3. Ja, flera 1,43 1,88 -4,26*** (58) Är det rätt insatser som föreslås? 1. Nej, troligen inte 2. Ja, delvis 3. Ja, sannolikt 2,12 1,95 1,48+ (58) *** eller + innebär signifikant skillnad mellan grupperna.

Resultat: Socialchefers uppfattning om bedömningarna (forts.) Med ESTER-bedömning (n=30) Utan instrument (n=30) På hela taget en adekvat/bra bedömning? Inte alls adekvat 2% 10% Adekvat - Mycket adekvat 58%+ 38% Missat att uppmärksamma saker? Nej 35% Ja, flera 2%* 23% Är det rätt insatser som föreslås? Nej, troligen inte 13% 25% Ja, sannolikt 20% * eller + innebär signifikant skillnad mellan grupperna.

Slutsatser? Användning av ESTER-bedömning leder till: Att fler forskningsbaserade risk- och skyddsfaktorer bärs fram i en bedömning Högre grad av samstämmighet i att identifiera risk- och skyddsfaktorer Att man, enligt socialchefer: gör bättre/mer adekvata bedömningar i mindre utsträckning missar viktiga saker tenderar att föreslå mer adekvata insatser … jämfört med när man inte använder ett strukturerat instrument (men t.ex. BBIC) BBIC räcker inte till för att ge bedömaren vägledning vad gäller risk-skyddsfaktorer

Tack till de som finansierat denna forskning Socialstyrelsen (UPP-centrum) Vetenskapsrådet