UTVÄRDERING OCH KVALITET Metod för utvärderingen viktig för utvärderingens status. En utvärdering utifrån ett vetenskapligt arbetssätt ger andra möjlighet att värdera arbetet.

Kunskap om vetenskapliga metoder ger förutsättningar att värdera och kritiskt granska utvärderingar. Kritiken får då vetenskapligt innehåll och är inte enbart subjektiva åsikter. Våra uttalanden får högre status och förhoppningsvis får vi större inflytande.

Utvärdering med hjälp av statistiska metoder Vetenskapliga metoder är generella vilket innebär att ett vetenskapligt förhållningssätt kan användas lika väl vid en utvärdering som vid en undersökning. En utvärdering kan utföras som en statistisk undersökning.

Hur utförs en statistisk undersökning ? 1. Problemformulering 2 Planering 3 Datainsamling 4 Analys 5 Rapportering

Problemformulering Varför behövs en utvärdering? Vad ska utvärderas? Vilken myndighet? Hela myndigheten eller delar? Vad ska ni utvärdera mot, finns fastställda mål för verksamheten. Vilka skall ni uttala er om (generalisera till)? Urvalsram, målpopulation

Vid utvärdering av en verksamhets kvalitet: Vad är kvalitet i detta fall? Vilka kriterier ska ni välja? Ingår några kvalitetskriterier i målet för verksamheten?

Planering Vilka skall ingå i undersökningen? Total eller stickprovsundersökning? Hur ska detta göras, vilken urvalsmetod? Går det att generalisera resultaten? Hur ska variablerna mätas? Vilka ska utföra mätningarna? Hur skall data analyseras? Behövs statistikprogram? Behövs konsulter?

Datainsamling Operationalisering av en variabel innebär en konkretisering av variabeln, en beskrivning av hur vi ska mäta den. Hur skall ni mäta verksamhetens kvalitet? Hur definieras kvalitet i detta fall? (Vad är hög kvalitet och låg kvalitet?) Varför är det viktigt med konkreta mätbara mål?

Mätning Hur skall mätinstrumentet se ut? Vad skall mätas, vilka variabler? Vilka frågor ska ställas? Behövs en enkätundersökning? Finns befintlig statistik? (antal anställda, budget mm.)

Validitet och Reliabilitet Validitet är förmåga att mäta det som avses att mätas. Reliabilitet är huruvida upprepade mätningar ger samma resultat. Hög reliabilitet: Slumpvariationerna är små.

Analys och rapportering Hur skall data analyseras och sammanställas samt vem ska göra detta? Vilka samband skall presenteras, t ex samband mellan kvalitet och olika bakgrundsvariabler (kön, ålder, tjänst)? Hur skall data och resultat presenteras? Vilka tabeller, diagram och statistiska mått ska användas? Hur påverkar bortfallet analysen?

Etik mm: Vad kan bli svårt på grund av etiska skäl? Vad säger datainspektionen? Behövs tillstånd av myndigheter, personal, föreståndare, vårdnadshavare etc? Hur ska data förvaras? Sekretess? Vilka andra problem kan uppstå?

Exempel Hur gör ni en kursutvärdering? Utifrån personliga förväntningar? Utifrån kursplan? Förväntade studieresultat? Vad har ni för mål med er utbildning? Stämmer de målen mot universitetets mål? Hur ska vi definiera kvalitet på en kurs?

Rapportskrivning / Krav på statistiska avsnitt Definiera alla variabler och begrepp. Ange de tidsperioder som avses. Definiera populationer och ange storlek på urval. Om resultat hämtats från andra källor måste man ange detta. Välj inte bara resultat som stöder den egna teorin!

Rapportskrivning/ Krav på tabeller och diagram. Tabeller och diagram måste alltid analyseras och förklaras närmare i texten. Markerade skalor och namn på axlar ska finnas med. Ej för detaljerade tabeller och diagram. Om tabeller/diagram tagits direkt från datorutskrifter ska beteckningar klargöras. Låt inte datorn bestämma hur bilden ska se ut!

Rapportskrivning Kvalitetsredovisning Syfte och användning: För vilket syfte och för vilken användning har data producerats? Jämförbarhet med annan statistik: T ex inom samma ämnesområde. Jämförbarhet i tiden Aktualitet Felkällor

Några felkällor vid statistiska undersökningar Täckningsfel –Övertäckning –Undertäckning Bortfallsfel Mätfel Bearbetningsfel

Experimentella studier och observationsstudier Experimentella studier: –Behandling. Försöksenheterna utsätts för vissa behandlingar i avsikt att studera effekten av dessa behandlingar –Upprepbarhet. Experimentet kan upprepas ett önskat antal gånger –Randomisering. Försöksenheterna fördelas slumpmässigt på olika behandlingar –Kontroll. Försöksbetingelserna kan i allmänhet kontrolleras och konstanthållas, eller åtminstone löpande registreras

Randomiserade kontrollerade studier (Färg på läkarklädsel) Kvasiexpermentella studier (Överåkerns anstalt)

Granskning av artiklar

Punktskattning och konfidensintervall Antag att vi, med hjälp av ett stickprov bestående av n=3000 individer, vill skatta andelen i populationen som skulle rösta på socialdemokraterna om det vore val idag. Antag att 1200 av 3000 svarar att de skulle rösta på socialdemokraterna. Vi kan då skatta andelen i populationen med 1200/3000=0.4. Hur bra är denna skattning ?

Det är svårt att ”träffa mitt i prick” och därför används konfidensintervall, dvs. ett intervall som täcker det sanna värdet i populationen med en viss säkerhet (95%, 99% ).

Åter till exemplet: Vi såg att stickprovproportionen blev 0.40, dvs Ett 95%-igt konfidensintervall blir då

Den statistiska felmarginalen är då 1.8 procentenheter. Vi kan vara ganska säkra på att andelen i populationen ligger mellan 38.2 % och 41.8 %, eftersom vi använt en metod som, i det långa loppet, ger oss rätt i 95 % av fallen.

Om samma undersökning görs 3 månader senare och 1290 personer av 3000 svarar att de skulle rösta på socialdemokraterna. Har det då skett någon förändring på 3 månader?

Signifikans Ett signifikant värde från ett statistiskt test innebär att man förkastar den nollhypotes som testas. Detta får man när det observerade värdet på testvariabeln skiljer sig ”tillräckligt mycket” (beroende på vald signifikansnivå) från det förväntade värdet om nollhypotesen var sann. Ex: ”At six months, abuse potential and emotional support showed significant improvement”

Massignifikans Om vi samtidigt gör många test på en given signifikansnivå (t ex 0.05) finns en betydande risk för att man felaktigt förkastar en eller flera sanna nollhypoteser. Det finns bra metoder för att korrigera (bla genom att sänka signifikansnivån för varje enskilt test) för att behålla rätt signifikansnivå för slutsatserna man drar.

Olika slags test Medelvärden Proportioner ANOVA (Jämförelse av flera medelvärden) Korrelation Regression MANOVA

En variabel Påstående:” TV4:s ”Let’s Dance” brukar i snitt ha 1.5 miljoner tittare per program, men den här säsongen har snittantalet minskat” Påstående: ”Andelen som röstar på m är mindre än 0.25” Påstående: ”Begynnelselönen för nyexaminerade socionomer från olika utbildningsorter i Sverige skiljer sig från varandra.”

Två eller flera variabler Påstående: ”Det finns ett samband mellan antal anställningsår och inkomst.” Påstående: ”Det finns ett samband mellan kön och alkoholkonsumtion bland studenterna vid Umeå universitet.” Påstående: ”Priset på ett hus påverkas av hur stort det är, antal rum, läge och ålder.” Påstående: ”Begynnelselönen för nyexaminerade socionomer från olika utbildningsorter skiljer sig från varandra.”

forts Flera variabler Påstående: ”Hur mycket självförtroendet och livsglädjen stärks samt hur förmågan att hantera svåra situationer byggs upp hos föräldrar till handikappade barn beror på vilken form av stöd de får från en handläggare.”

Val av teststatistika Det finns olika teststatistikor för olika situationer. Principen är att man väljer en teststatistika vars fördelning är känd då nollhypotesen är sann. Vi vill ju veta vilka värden på teststatistikan vi kan förvänta oss och vilka värden som är osannolika om nollhypotesen är sann.

Tips! Formulera Nollhypoteserna samt Mothypoteserna för de test som beskrivs! Till vår hjälp då vi läser artiklarna har vi p- värdena även om vi inte förstår varje enskilt test!

Exempel ”At six months, abuse potential (F=12.47, p<0.001) and emotional support (F=7.49, p<0.001) showed significant improvement. Other variables-empowerment, happiness, family functioning and hope – although not significant at the level, changed positively.” Baldry, E. et al. Practice (17),