UTVÄRDERING OCH KVALITET Metod för utvärderingen viktig för utvärderingens status. En utvärdering utifrån ett vetenskapligt arbetssätt ger andra möjlighet.

En presentation över ämnet: "UTVÄRDERING OCH KVALITET Metod för utvärderingen viktig för utvärderingens status. En utvärdering utifrån ett vetenskapligt arbetssätt ger andra möjlighet."— Presentationens avskrift:

1 UTVÄRDERING OCH KVALITET Metod för utvärderingen viktig för utvärderingens status. En utvärdering utifrån ett vetenskapligt arbetssätt ger andra möjlighet att värdera arbetet.

2 Kunskap om vetenskapliga metoder ger förutsättningar att värdera och kritiskt granska utvärderingar. Kritiken får då vetenskapligt innehåll och är inte enbart subjektiva åsikter. Våra uttalanden får högre status och förhoppningsvis får vi större inflytande.

3 Utvärdering med hjälp av statistiska metoder Vetenskapliga metoder är generella vilket innebär att ett vetenskapligt förhållningssätt kan användas lika väl vid en utvärdering som vid en undersökning. En utvärdering kan utföras som en statistisk undersökning.

4 Hur utförs en statistisk undersökning ? 1. Problemformulering 2 Planering 3 Datainsamling 4 Analys 5 Rapportering

5 1. Problemformulering Varför behövs en utvärdering? Vad ska utvärderas? Vilken myndighet? Hela myndigheten eller delar? Vad ska ni utvärdera mot, finns fastställda mål för verksamheten. Vilka skall ni uttala er om (generalisera till)? Urvalsram, målpopulation

6 Vid utvärdering av en verksamhets kvalitet: Vad är kvalitet i detta fall? Vilka kriterier ska ni välja? Ingår några kvalitetskriterier i målet för verksamheten?

7 2. Planering Vilka skall ingå i undersökningen? Total eller stickprovsundersökning? Hur ska detta göras, vilken urvalsmetod? Går det att generalisera resultaten? Hur ska variablerna mätas? Vilka ska utföra mätningarna? Hur skall data analyseras? Behövs statistikprogram? Behövs konsulter?

8 3. Datainsamling Operationalisering av en variabel innebär en konkretisering av variabeln, en beskrivning av hur vi ska mäta den. Hur skall ni mäta verksamhetens kvalitet? Hur definieras kvalitet i detta fall? ( Vad är hög kvalitet och låg kvalitet?) Varför är det viktigt med konkreta mätbara mål?

9 Mätning Hur skall mätinstrumentet se ut? Vad skall mätas, vilka variabler? Vilka frågor ska ställas? Behövs en enkätundersökning? Finns befintlig statistik? (antal anställda, budget mm.)

10 Validitet och Reliabilitet Validitet är förmåga att mäta det som avses att mätas. Reliabilitet är huruvida upprepade mätningar ger samma resultat. Hög reliabilitet: Slumpvariationerna är små.

11 4 och 5. Analys och rapportering Hur skall data analyseras och sammanställas samt vem ska göra detta? Vilka samband skall presenteras, t ex samband mellan kvalitet och olika bakgrundsvariabler (kön, ålder, tjänst)? Hur skall data och resultat presenteras? Vilka tabeller, diagram och statistiska mått ska användas? Hur påverkar bortfallet analysen?

12 Etik mm: Vad kan bli svårt på grund av etiska skäl? Vad säger datainspektionen? Behövs tillstånd av myndigheter, personal, föreståndare, vårdnadshavare etc? Hur ska data förvaras? Sekretess? Vilka andra problem kan uppstå?

13 Exempel Hur gör ni en kursutvärdering? Utifrån personliga förväntningar? Utifrån kursplan? Vad har ni för mål med er utbildning? Stämmer de målen mot universitetets mål? Hur ska vi definiera kvalitet på en kurs?

14 Konstruktion av enkäter (Strukturerat frågeformulär) Utgångspunkter A) Undersökningens syfte * Vad skall utvärderas? * Vilka frågeställningar skall besvaras med hjälp av enkäten?

15 B) Teorier och hypoteser * Vilka undersökningsvariabler och bakgrundsvariabler ska ingå i undersökningen? * Samband mellan dessa variabler? * Hur ska variablerna mätas?

16 Följebrevet ◦ Helst endast en sida ◦ Syfte med enkäten ◦ Nyttan med enkäten ◦ Försäkra konfidentiell behandling ◦ Ansvariga ◦ Ange hur undersökningen kommer att användas.

17 Enkäten Enkäten skall utformas så att undersökningspersonen lätt skall kunna - uppfatta instruktioner kring enkäten - förstå frågorna - besvara frågorna Så kort enkät som möjligt.

18 Undvik ledande frågor Tycker du att det är rimligt att man skärper straffen för att minska brottsligheten? Föredrar du att gå på teater framför att gå på bio om du vill gå ut en kväll? Tycker du att kontokortet X fungerar bra för dina behov?

19 Undvik negerande frågor Bör man inte tillåta lastbilstrafik genom stadskärnan? Bättre: Bör man tillåta lastbilstrafik genom stadskärnan?

20 Undvik värdeladdade frågor Frågor om alkohol/droger, sexuella förhållanden, kriminalitet mm. kan vara svåra. Om man har med frågor som skapar motvilja hos respondenten kan bortfallet bli större.

21 Undvik hypotetiska frågor Vilken barnomsorgsform skulle du välja om du skulle få erbjudande om både kommunal och privat barnomsorg och månadskostnaden för den privata var 10% högre än för den kommunala.

22 Fråga om en sak i sänder Anser du, att personalen på banken är vänlig och kunnig? Bättre: Anser du att personalen på banken är vänlig? Anser du att personalen på banken är kunnig?

23 Precisera frågan i tid och rum Hur stor andel av antalet livsmedelsinköp under en vecka gör du normalt på en stormarknad? Problem: - Det framgår ej vilken tidsperiod som avses - Begreppet ”normal andel” är svårgripbart. - Begreppet stormarknad är ej definierat.

24 Språket Undvik fackuttryck Använd ett så enkelt språk som vanligt. Använd gärna ett språk som undersökningspersonen är van vid.

25 Fasta svarsalternativ Lätta att koda och bearbeta Lätta att besvara Bör vara ömsesidigt uteslutande (varje svar får endast förekomma en gång). Bör vara uttömmande (alla tänkbara alternativ skall finnas med).

26 Öppna frågor Kan vara svåra att bearbeta och koda. Enda alternativet då svarsalternativen är okända eller inte möjliga att klassificera. Kan kombineras med fasta svarsalternativ. (ex: ם annat ______, ם varför ? _____ ) Lämpliga som avslutning på enkäten.

27 Frågornas ordningsföljd Bakgrundfrågor först. Viktiga frågor tidigt (speciellt vid länga enkäter) Känsliga frågor så sent som möjligt.

28 Test av enkäten Provundersökning – Pilotstudie Testa olika ordning på frågorna. Testa kodningen av svaren. Ger undersökningen svar på frågeställningarna? Skall svarsalternativen modifieras? Skall frågorna omformuleras?

29 Rapportskrivning / Krav på statistiska avsnitt Definiera alla variabler och begrepp. Ange de tidsperioder som avses. Definiera populationer och ange storlek på urval. Om resultat hämtats från andra källor måste man ange detta. Välj inte bara resultat som stöder den egna teorin!

30 Rapportskrivning/ Krav på tabeller och diagram. Tabeller och diagram måste alltid analyseras och förklaras närmare i texten. Markerade skalor och namn på axlar ska finnas med. Ej för detaljerade tabeller och diagram. Om tabeller/diagram tagits direkt från datorutskrifter ska beteckningar klargöras.