Etik, evidens och transparens Knut Sundell knut.sundell@socialstyrelsen.se www.evidens.nu www.prevention.se

”Det finns exempel på hållande som pågått upp till 5-6 timmar ”Det finns exempel på hållande som pågått upp till 5-6 timmar. Åtgärderna används i nödsituationer men uppges också vara en nödvändig del i behandlingen. Barnen eller ungdomarna ber ibland själva om att bli hållna, men ibland vill de också bli frisläppta ur det grepp som används. Detta sker dock inte förrän barnet eller ungdomen blivit lugn och en ögonkontakt etablerats”

Ineffektiva eller skadliga metoder Attachment-terapi (holding och rebirthing) D.A.R.E / Våga ”Scared straight” Boot camps Psykodynamisk behandling av autism Gruppinriktade insatser för kriminella ungdomar Återskapande av minnen (hypnos) Ljusterapi Nedläggning / kontroll-tagning / ”Dörrning” Sorgeterapi för normal-fungerande personer Critical incident stress debriefing Helordsmetoden vid läsinlärning Spädbarn ska sova på magen Anatomiskt korrekta dockor för diagnos av sexuella övergrepp mot små barn 3

Metoder vars värde är oklara Miljöterapi Utredningslägenhet Värstingresor Familjecentraler Skolervice-enheter Charlie Barnahus SKÅ-modellen Alby-modellen Farsta-modellen Hassela-modellen Kälvestens-metoden Kontaktperson/-familj Hallstahammar-modellen

Elever med ofull-ständiga betyg (Skolverket, 2006) Grundskolan = 25% (40% elever med utländsk bakgrund) Gymnasiet = 20% (25% elever med utländsk bakgrund) 460 familjemedlemmar, varav 30 barn 68 proffs 123 + 110 soc 111 + 183 barn

IMS VISION En evidensbaserad praktik i socialt arbete, hälso- och sjukvård, pedagogik, psykiatri, brottsförebyggande verksamhet osv

EVIDENSBASERAD PRAKTIK (Haynes et al, 2002) Situation och omständigheter Profesionell expertis Klienters erfarenhet & önskemål Bästa evidens

Ni förstår säkert att vi inte kan bevisa att behandlingen är värdelös innan vi har testat den i 15 år?

VAD ÄR EVIDENS?

Experters utlåtanden, samlade bedömningar, brillianta insikter och skarpsinniga antaganden är ofta vilseledande. J. C. Stanley (1957) Expert opinions, pooled judge-ments, brilliant intuitions, and shrewd hunches are frequently misleading J. C. Stanley (1957)

Intern validitet Extern validitet Hög trovärdighet att förändringar beror på insatsen och inget annat (jämförande studier, före- och eftemätning) Extern validitet Effektiva i vardagsarbetet (flera oberoende studier med samma resultat)

Kumulativ andel med nya insatser (Sundell & Vinnerljung, 2004)

Scientific Methods Scale (Sherman m fl, 2002) (5) Randomisering mellan behandling och jämförelse (4) Före – eftermätning med jämförelsegrupp och kontroll för andra förklaringar (3) Före – eftermätning med jämförelsegrupp (2) Före – eftermätning utan jämförelsegrupp (1) Sambandsstudie vid ett tillfälle Scientific Methods Scale (Sherman m fl, 2002) Sämst - - - - - - - - - Bäst

Andel av insatser som framstod som säkerställt effektiva (Weisburd m fl, 2001) (5) Randomisering (4) Jämförelsegrupp med stat kontroll (3) Jämförelsegrupp utan stat kontroll (2) Före – efter utan jämförelsegrupp (1) Sambandsstudie vid ett tillfälle 37% 61% 66% 74% 80% Sämst - - - - - - - - - Bäst

www.evidens.nu

Beskrivningen innehåller: Målgrupp - Föräldrar till barn mellan tre och elva år som ofta bråkar eller hamnar i konflikter. Syfte - Att öka föräldrars positiva samspel med sina barn och förändra föräldrarnas förhållningssätt. Genomförande - Elva tillfällen med videovinjetter, rollspel, hemuppgifter och skriftligt material. Utbildning - Handledarutbildning av Stockholms stad. Effekter – Medelstarka effekter (andel med allvarliga problem minskar med 46%) Evidensstyrka - Medelhög tillförlitlighet (Lovande) Kontakter - www.kometprogrammet.se

Gradering ? ? ligt stöd Starkt veten- skapligt stöd Vetenskap- Lovande Ingen effekt Skadlig Okänd effekt ? ?

VAD ÄR EFFEKTIVT?

Det ”sociala” arvet och skolan Michael Rutter – ”15 000 hours” (1979) Skolor med elever från SES 1 lyckas bäst, sedan SES 2 och sist SES 3 Det fanns skolor med elever från SES 1 som lyckades sämre och de med elever från SES 3 som lyckades bättre Skolor med bättre resultat – oberoende av vilken SES eleverna representerade – hade vissa kännetecken: Pedagogiskt aktiv rektor Uppfattningen att elevernas utveckling berodde på skolan och inte det ”sociala arvet” Fokus på akademiska färdigheter Tydliga normer Samarbete hem-skola Positiv uppmärksamhet

Ökning i läsförmåga per läsår (Alexander m fl, 2001) Förändring under läsåret Förändring under sommarlovet

Förändring i läsförmåga under sommarlovet (Alexander m fl, 2001)

Ökad läsförmåga årskurs 1 – 5 (Alexander m fl, 2001)

Effektstorlek: mått på påverkan Genomsnittlig effekt av olika interventioner Stor 0.8 37% skillnad Förväntad utveckling utan skolundervisning Medel 24% skillnad 0.5 Liten 0.2 10% skillnad

Det som bidrar till elevers resultat (Hattie, 2008) Effektstorlekar Baserat på mer än 800 metastudier omfattande 50 000 studier där mer än 80 miljoner elever har ingått Reservation: Främst forskning från Nordamerika och Storbritannien – gäller resultaten även för Sverige? Slår ihop ”äpplen och päron” ”garbage in – garbage out” Vad är jämförelsegrupp? Gäller resultaten för ALLA eller finns det grupper som avviker? Eleven (t ex tidigare kunskap) Hemmet (t ex föräldrars förväntningar) Skolan (t ex klasstorlek) Läroplanen (t ex helordsmetoden) Läraren (t ex lärarutbildning) Pedagogiken (t ex individualiserad underv.) .................... 0,40 .......... 0,31 ........................... 0,23 ….…..... 0,45 ….…………... 0,49 ... 0,44 ”Allt” spelar roll

Effekter: ELEV och HEM (Hattie, 2009) Elevens tidigare kunskaper 0,67 Socioekonomisk status 0,57 Stor 0.8 Föräldrarengagemang 0,51 Elevens koncentration 0,48 Elevens motivation 0,48 Medel 0.5 Erfarenhet av förskola 0,45 Elev använder ej droger 0,33 Liten 0.2 Elevens personlighet 0,19 Elev = flicka 0,12 TV-tittande -0,18

Effekter: SKOLAN och LÄRAREN (Hattie, 2009) Lärare får video-feedback på sin undervisning 0,88 Stor 0.8 Klasskamrater 0,53 ”Classroom management” 0,52 Lagom stor skola 0,43 Medel 0.5 Lärares höga förväntningar 0,43 De-segregering 0,28 Handikappade integrerade 0,28 Liten 0.2 Mindre klasstorlek 0,21 Nivågruppering 0,12 Lärarutbildning 0,11 Lärares ämneskunskap 0,09 Åldersblandade klasser 0,04 Sommarlov -0,09 Kvarsittning -0,16 Skolbyten -0,34

Effekter: LÄROPLAN och PEDAGOGIK (Hattie, 2009) Direkt undervisning (direct instruction) Klargör vad elevens ska lära sig Lär ut stegvis och exemplifiera Kontrollera att eleven förstått Låt eleven öva under lärarens tillsyn Successivt allt självständigare övning och tillämpning Utvärdering av lärare 0,90 Stor 0.8 Feedback till elever 0,73 Fonetisk träning vid läsinlärning 0,60 Direkt undervisning 0,59 Medel 0.5 Social träning 0,40 Time-on-task 0,38 Skriftliga test 0,34 Individualiserad undervisning 0,23 Läxor 0,29 Liten 0.2 Undervisning via arbetslag 0,19 Problembaserad inlärning 0,15 Mentorskap 0,15 Motorisk träning vid läsinlärning 0,08 Helordsmetoden vid läsinlärning 0,06 Elev bestämmer inlärning 0,04

Svenska pedagogiska reformer / rekommendationer Stor 0.8 Medel 0.5 Individualiserad undervisning 0,23 Liten 0.2 Undervisning via arbetslag 0,19 Problembaserad inlärning 0,15 Mentorskap 0,15 Motorisk träning vid läsinlärning 0,08 Helordsmetoden vid läsinlärning 0,06 Åldersblandade klasser 0,04 Elev bestämmer inlärning 0,04

10 skolinsatser som förbättrar elevers resultat (Hattie, 2008) Strukturerad utvärdering av enskilda lärare Lärare får video-feedback på sin undervisning Snabbare undervisning för snabba elever Insatser som minskar störande beteenden i klassrum Omfattande stöd till elever med inlärningssvårigheter Lärare är tydlig i sin undervisning Undervisning med frågor, klargöra otydligheter och summera Feedback från lärare till elev Goda relationer mellan elever och lärare Undervisning utspridd i tiden, ej endast ett tillfälle …..……..…..…... 0,90 ............................. 0,88 ...................................... 0,88 ................. 0,80 ................ 0,77 .................................................... 0,75 0,74 ....................................................... 0,73 .................................... 0,72 ..................... 0,71

Flera resultat (Hattie, 2009) Kvalitet i undervisning Relation elev-lärare Feedback Direkt undervisning Många läxförhör etc Metakognitiva strategier Stor 0.8 Undervisning 0,68 Läraren som aktiverare 0,60 Medel 0.5 Individualiserad undervisning Problembaserad undervisning Internetbaserad inlärning Helordsmetoden Mer resurser Minskad klasstorlek Åldersblandad klass Nivågruppering Liten 0.2 Läraren som möjliggörare 0,17 ”Formella” förutsättningar 0,08

Slutsatser (Hattie, 2008) Ej viktigt: Mer resurser Klasstorlek Läraren är den viktigaste för inlärning Lärare ska vara styrande, tydliga, engagerade och bry sig om eleverna Lärare måste bli medveten om varje elevs aktuella kunskap och sätt att tänka och anpassa undervisningen efter detta Lärare måste vara klar över målen och hur de kan avläsas samt se nästa steg är för att minska skillnaden mellan målen och elevernas aktuella kunskap Lärare behöver använda fler än en metod Skolledare och lärare måste skapa en skola, personalrum och klassrum där misstag välkomnas som en möjlighet till inlärning Ej viktigt: Mer resurser Klasstorlek Vilka eleverna är Ämnet som undervisningen avser Arbetsvillkor för lärare och elever

Skolprogram mot alkohol och droger (Tobler, 2000) Effektstorlekar Ej interaktiva – betoning på information och känslor (skrämma) utan elevers aktiva medverkan Interaktiva – sokratisk stil, elever involveras aktivt, ofta träning av sociala färdigheter 0,00 0,19

Effektiva komponenter i föräldra-stödsprogram (Wyatt Kaminski m fl, 2008) Förbättrade föräldrakompetenser Ökad positiv samvaro barn – förälder Lära föräldrar emotionell kommunikation Öva med det egna barnet Problem lösning Stödja barns kognitiva/skolmässiga förmågor Arbete med föräldrars egna problem Barns minskade externaliserande beteenden Lära föräldrar time-out Konsekventa föräldrar Träna att utveckla barnets sociala färdigheter Baserat på 77 utvärderingar av föräldrastödsprogram med fokus på barn i åldrar 0-7 år med beteendeproblem Exempelvis Cope, De otroliga åren, Komet, Triple P … ............................. 0,20 ……………..…0,44 ………..………………………..0,38 ………....……………………………… - 0,25 …..….… - 0,24 …..…………..…. - 0,21 ........................... 0,28 .................................................. 0,17 ………….………………………...0,33 ...............................................0,23 ….......... - 0,20 Umgås och ha trevligt Uppmärksamma positiva beteenden Låta barnet styra lek Aktivt lyssnande Minska kritik och sarkasmer Hjälpa barnet hantera känslor Övning i verkliga situationer Omedelbar feedback till föräldrar

Att förändra ett arbetssätt

Exemplet Familjerådslag Kommunförbundets initiativ – Family Group Conference från Nya Zeeland Syfte Utnyttja familjens ”dolda” kunskap Engagera familjen (empowerment) Förväntningar Bättre samarbete Bättre och stabilare insatser Bättre hjälp till barn och familjer

Kommunförbundets stöd: Implementeringen 10 kommuner väljs ut Utbildning startar Kommunförbundets stöd: två dagars utbildning av socialarbetare två dagars utbildning av samordnare två fortbildningsdagar en centralt placerad projektledare som stöd till de tio kommunerna Första FRS Kommuner bjuds in Projektet avslutas 1995 1996 1997 1998 Utvärdering startar Utvärdering klar

Lokal implementering Top-down (ej förankrat hos personalen) Oklart motiv (ord. arbete ej utvärderat) Oklar ledning (oklart mandat) Otillräcklig utbildning (pga personaloms.) Ej extra resurser Andra omfattande förändringar Snabbt tidsförlopp Implementeringens kvalitet var kopplad till antalet genomförda familjerådslag och personalomsättning. Top-down perspektiv - beslutet tagit av ledningen, dåligt förankrat, undervisning fokuserat på praktisk hantering och inte teori om empowerment etc; top-down behöver inte vara dåligt, men kan bli det om det inte ges tid och resurser att förankra Begränsat fokus - I allmänhet har bara en sektion berörts av förändringen, t ex inte familjehemssektion, familjerätt, socialbidrag etc. Det kan skapa samarbetsproblem. Decentraliserad ledning - Mellanchefer och sektionschefer har fått ansvar för att genomföra projektet. Ledningen har inte informerat sig om utfall etc … Ej extra resurser - endast en kommun har haft en heltidsanställd projektledare Snabbt tidsförlopp - ca 6 månader från beslut till första FRS. Kanske ser bilden annorlunda ut om ett år? PLUS andra organisationsförändringar (7), ej förankrat bland socarb (6), ej tydliga mål (9) ej alla utbildade (3) pga personalomsättning

Genomförda familjerådslag Under perioden maj 1996 + hela 1997 + jan - maj 1998

Personalomsättning

Att tvätta händerna… Ignaz Semmelweis (1818-1865) Chef förlossningsavdelning Samband obduktion av lik och barnsängsfeber Spädbarnsdödlighet minskade drastiskt när vårdgivarna tvättade händerna Upptäckt 1847 Erfarna läkare tvättade händerna 2 ggr under 21 timmars ronder (Bartzokas, 1995) Självrapporterad handtvätt bland läkare 73% -- faktisk 9% (Tibbals, 1995)

Angivna hinder mot handtvätt… (Grol & Grimshaw, 2003) Hudirritation 81% Glömmer bort 65% Inga komplikationer 61% Omöjligt att göra under arbetet 61% Tidskrävande 50% Ingen kontrollerar 50% Sjukhuset saknar riktlinjer 49% Ledningen är ointresserad 45% Saknar evidens 43% Saknar tvättställ 42%

Forskningskunskap om implementering Snabbt ökad kunskap Hälso- och sjukvård, psykiatri, socialt arbete, brottsförebyggande arbete, missbruksbehandling, marknadsföring… ”Implementeringsvetenskap” Låt det ske > hjälp det ske > få det ske Ej kokboks-recept

Tre faktorer för att hjälpa (Green m fl, 2006) Forskning om vad som fungerar Krav på förändring Organisa-tion för att sprida och utbilda

Definition implementering De procedurer som används för att införa nya metoder i en ordinarie verksamhet och att säkerställa att de metoderna används som avsett och med varaktighet.

Tidigare synsätt Bra metoder sprider sig själva genom sin överlägsenhet Människor behöver bara upp- lysas för att idéer och metoder ska börja användas

Men i själva verket... Dåliga metoder sprids på samma sätt som bra Upplysning ingen garanti Utbildning leder bara ibland till förändring Nya metoder förändras ofta under implementeringen så att de inte fungerar

Underlättar implementering Motivera förändring genom utvärdering

Ett exempel från skolan Utvecklingsarbete 4 kommunala Stockholmsskolor Enkäter till: 1310 elever i åk 4-9 118 lärare Våren 2006

Andel som uppfattar att skolk är förbjudet

Eleverna ser fram mot att gå till lektionerna

Lärare använder samma regler

Vuxna ingriper om någon blir trakasserad eller mobbad

Andel som uppfattar att det är hög ljudnivå och stökigt på lektionerna

Lärarna tar elevernas åsikter på allvar

Underlättar implementering Motivera förändring genom utvärdering Börja där förutsättningarna är bäst – ”bit där det är mjukast”

Spridning av nyheter (E. Rogers, 2003) ”Söl- korvarna” Majori-teten 100% Gör som andra gör Snabba anpas-sare Socialt tryck Innova-törer Nyfikna, inget att förlora Inser fördelar, ofta informella ledare Tid

En vanlig situation (kumulativ %) 100% Tid

Underlättar implementering Motivera förändring genom utvärdering Börja där förutsättningarna är bäst – ”bit där det är mjukast” Processperspektiv – lång tid och kontinuerligt stöd

Steg vid implementering (Fixsen m fl, 2005) Inventering av behov (finns ett problem?) Förankring Planering Utbildning Handledning när metoden börjar användas Säkra att metoden vidmakthålls över tid (ev. revidering metod) 2-4 år

Underlättar implementering Motivera förändring genom utvärdering Börja där förutsättningarna är bäst – ”bit där det är mjukast” Processperspektiv – lång tid och kontinuerligt stöd Lokalt ägande av förändringsarbetet Aktivt ledarskap Ekonomiskt och personellt stöd Utbildning är inte bara undervisning

META-ANALYS AV OLIKA TRÄNINGSKOMPONENTER FÖR LÄRARUTBILDNING (Joyce & Showers, 2002) TRÄNINGS-KOMPONENTER Besitter kunskap Demonstrerar färdigheten Använder i klassrummet Teori och diskussion 10% 5% 0% + Demonstration av utbildare 30% 20% 0% + Rollspel med feedback 60% 5% + Coachning i Klassrummet 95%

Underlättar implementering Forskning måste översättas – lättförståeligt, tydlig nytta, passa in i verksamheten generellt

Snabb spridning av nya metoder inom idrotten Relativa fördelar Lätt att använda Synliga resultat snabbt

Underlättar implementering Forskning måste översättas – lättförståeligt, tydlig nytta, passa in i verksamheten generellt Demonstrationsexempel – underlättar förståelse Ta hänsyn till informella sociala nätverk – individer på andra arbetsplatser kan spela roll Utvärdera verksamheten lokalt Tillåt anpassning – men först efter implementering är klar och verksamheten utvärderad

Vikten av att följa instruktion bland FFT-terapeuter (Barnoski, 2004) 28% lagfördes inom 18 månader när ungdomarna inte fått någon insats

Vikten av att följa instruktion bland FFT-terapeuter (Barnoski, 2004) Att inte följa instruk- tionen kan vara skadligt Begränsade effekter även vid programtrohet

Vikten av att följa instruktion bland FFT-terapeuter (Barnoski, 2004)

TACK FÖR UPP- MÄRKSAMHETEN

www.evidens.nu knut.sundell@socialstyrelsen.se

Ökning i läsförmåga per läsår (Alexander m fl, 2001)