UTVÄRDERING OCH KVALITET Metod för utvärderingen viktig för utvärderingens status. En utvärdering utifrån ett vetenskapligt arbetssätt ger andra möjlighet.

En presentation över ämnet: "UTVÄRDERING OCH KVALITET Metod för utvärderingen viktig för utvärderingens status. En utvärdering utifrån ett vetenskapligt arbetssätt ger andra möjlighet."— Presentationens avskrift:

1 UTVÄRDERING OCH KVALITET Metod för utvärderingen viktig för utvärderingens status. En utvärdering utifrån ett vetenskapligt arbetssätt ger andra möjlighet att värdera arbetet.

2 Kunskap om vetenskapliga metoder ger förutsättningar att värdera och kritiskt granska utvärderingar. Kritiken får då vetenskapligt innehåll och är inte enbart subjektiva åsikter. Våra uttalanden får högre status och förhoppningsvis får vi större inflytande.

3 Utvärdering med hjälp av statistiska metoder Vetenskapliga metoder är generella vilket innebär att ett vetenskapligt förhållningssätt kan användas lika väl vid en utvärdering som vid en undersökning. En utvärdering kan utföras som en statistisk undersökning.

4 Hur utförs en statistisk undersökning ? 1. Problemformulering 2 Planering 3 Datainsamling 4 Analys 5 Rapportering

5 Studentspegeln 2002 Studentspegeln är en undersökning om olika kvalitetsaspekter inom den högre utbildningen. Den utgår från studenternas perspektiv. Undersökningen är tänkt som ett komplement till de utvärderingar som Högskoleverket gör på regeringens uppdrag sedan 2001. Undersökningen har genomförts i form av en enkät under hösten 2001 bland 15 440 studenter vid alla landets högskolor, exklusive de konstnärliga högskolorna.

6 1. Problemformulering Varför behövs en utvärdering? Vad ska utvärderas? Vilken myndighet? Hela myndigheten eller delar? Vad ska ni utvärdera mot, finns fastställda mål för verksamheten. Vilka skall ni uttala er om (generalisera till)? Urvalsram, målpopulation

7 Främjar den högre utbildningen lärande och personlig utveckling ? Undersökningen är tänkt att ge svar på frågor om i vilken utsträckning den högre utbildningen främjar lärande och personlig utveckling. Tillsammans med medborgarkunskap utgör detta en del av de övergripande målen för högre utbildning, utöver kunskaper och färdigheter. Andra aspekter på undervisning och lärande belyses också i Studentspegeln – exempelvis kritiskt tänkande, analytisk förmåga, examination, förmåga att uttrycka sig i tal och skrift samt graden av engagemang för studierna.

8 Vid utvärdering av en verksamhets kvalitet: Vad är kvalitet i detta fall? Vilka kriterier ska ni välja? Ingår några kvalitetskriterier i målet för verksamheten?

9 ”Vi hoppas att Studentspegeln ger underlag till diskussion och reflexion genom att fästa uppmärksamheten på faktorer som är viktiga för att utbildningen skall bli både meningsfull och utvecklande. Resultatet kan därigenom utgöra en utgångspunkt för högskolornas eget förbättringsarbete.”

10 2. Planering Vilka skall ingå i undersökningen? Total eller stickprovsundersökning? Hur ska detta göras, vilken urvalsmetod? Går det att generalisera resultaten? Hur ska variablerna mätas? Vilka ska utföra mätningarna? Hur skall data analyseras? Behövs statistikprogram? Behövs konsulter?

11 Urval och datainsamling Enkäten skickades ut till 15 440 studenter med minst två terminers studier bakom sig på sin nuvarande högskola. För att komma med i urvalet krävdes också att studenten hade minst 15 godkända poäng rapporterade. Studenter från alla högskolor utom de konstnärliga ingår.

12 Enkäten Arbetet med Studentspegeln har metodologiskt bedrivits utifrån den amerikanska förebilden,18 men enkäten har anpassats till svenska förhållanden. Några av frågorna i den amerikanska undersökningen har därför fått strykas helt och i stället har nya frågor tillkommit. Några frågor har också ”försvenskats” eller anpassats på annat sätt/av andra skäl. De amerikanska frågorna är t.ex. utformade för att användas på collegenivå där de flesta är i åldrarna 17–20 år. Detta fungerar inte här där studenterna är äldre. Flertalet frågor är dock desamma som i den amerikanska förlagan eftersom många idéer om lärandet och undervisningen är gemensamma.

13 Enkätfrågorna har testats i två grupper med studenter från olika högskolor, med olika utbildningsinriktningar, olika studieerfarenhet och åldrar m.m. Utprovningen sköttes av Forum for business administration (FBA) och ledde till att vissa frågor kunde förbättras. Flera studenter har under datainsamlingsperioden kommit med förslag till förbättringar av enkäten. Om undersökningen upprepas kommer dessa goda råd väl till pass.

14 Urvalet är ett s.k. stratifierat urval. Populationen stratifieradespå högskola/universitet (33 st.), kön och utbildningsinriktning(10 st.). Sammanlagt bildades drygt 250 strata utifrån kombinationer av de tre stratifieringsvariablerna. Syftet med en så detaljerad stratifiering är att kunna redovisa resultat för studenter per högskola och per utbildningsinriktning.

15 Sex olika dimensioner summerar en stor del av Studentspegelns frågor. Dimensionerna har fått namnen: Utbildning och värderingar, Analytiskt tänkande, Studentsamarbete, Lärande samtal, Läsa, skriva, redovisa samt Lärarstöd.

16 3. Datainsamling Operationalisering av en variabel innebär en konkretisering av variabeln, en beskrivning av hur vi ska mäta den. Hur skall ni mäta verksamhetens kvalitet? Hur definieras kvalitet i detta fall? ( Vad är hög kvalitet och låg kvalitet?) Varför är det viktigt med konkreta mätbara mål?

17 Mätning Hur skall mätinstrumentet se ut? Vad skall mätas, vilka variabler? Vilka frågor ska ställas? Behövs en enkätundersökning? Finns befintlig statistik? (antal anställda, budget mm.)

18 Validitet och Reliabilitet Validitet är förmåga att mäta det som avses att mätas. Reliabilitet är huruvida upprepade mätningar ger samma resultat. Hög reliabilitet: Slumpvariationerna är små.

19 Tillförlitlighet och giltighet Vi har tidigare nämnt att faktoranalysen generellt sett ger ett säkrare dataunderlag än redovisning av resultatet av enskilda frågor. Tillförlitligheten (reliabiliteten) i de sex dimensionerna är tillfredsställande. Giltigheten (validiteten) i dimensionerna är mer svårtolkad.Ett problem rör hur man kan tolka resultaten i dimensioner som skapats genom faktoranalys.

20 4 och 5. Analys och rapportering Hur skall data analyseras och sammanställas samt vem ska göra detta? Vilka samband skall presenteras, t ex samband mellan kvalitet och olika bakgrundsvariabler (kön, ålder, tjänst)? Hur skall data och resultat presenteras? Vilka tabeller, diagram och statistiska mått ska användas? Hur påverkar bortfallet analysen?

21 Svarsfrekvens och bortfall Den totala svarsfrekvensen för enkäten ligger på 67 procent. En kontroll av svarsfrekvensen i elva åldersgrupper visar att ingen åldersgrupp faller ur mönstret. Svarsfrekvensen bland kvinnor var 73 procent och bland män 61 procent.

22 Det partiella bortfallet varierade mellan olika frågor och redovisningsgrupper men var i de flesta fall ganska lågt. Fråga fem hade dock ett stort partiellt bortfall. Frågan rör på vilken nivå (A-, B-, C- eller D- och däröver) som studenten läste den termin som enkäten skickades ut. 14 procent av studenterna svarade inte på frågan varför den inte redovisas.

23

24 Etik mm: Vad kan bli svårt på grund av etiska skäl? Vad säger datainspektionen? Behövs tillstånd av myndigheter, personal, föreståndare, vårdnadshavare etc? Hur ska data förvaras? Sekretess? Vilka andra problem kan uppstå?

25 Exempel Hur gör ni en kursutvärdering? Utifrån personliga förväntningar? Utifrån kursplan? Vad har ni för mål med er utbildning? Stämmer de målen mot universitetets mål? Hur ska vi definiera kvalitet på en kurs?

26 Konstruktion av enkäter (Strukturerat frågeformulär) Utgångspunkter A) Undersökningens syfte * Vad skall utvärderas? * Vilka frågeställningar skall besvaras med hjälp av enkäten?

27 B) Teorier och hypoteser * Vilka undersökningsvariabler och bakgrundsvariabler ska ingå i undersökningen? * Samband mellan dessa variabler? * Hur ska variablerna mätas?

28 Följebrevet ◦ Helst endast en sida ◦ Syfte med enkäten ◦ Nyttan med enkäten ◦ Försäkra konfidentiell behandling ◦ Ansvariga ◦ Ange hur undersökningen kommer att användas.

29 Enkäten Enkäten skall utformas så att undersökningspersonen lätt skall kunna - uppfatta instruktioner kring enkäten - förstå frågorna - besvara frågorna Så kort enkät som möjligt.

30 Undvik ledande frågor Tycker du att det är rimligt att man skärper straffen för att minska brottsligheten? Föredrar du att gå på teater framför att gå på bio om du vill gå ut en kväll? Tycker du att kontokortet X fungerar bra för dina behov?

31 Undvik negerande frågor Bör man inte tillåta lastbilstrafik genom stadskärnan? Bättre: Bör man tillåta lastbilstrafik genom stadskärnan?

32 Undvik värdeladdade frågor Frågor om alkohol/droger, sexuella förhållanden, kriminalitet mm. kan vara svåra. Om man har med frågor som skapar motvilja hos respondenten kan bortfallet bli större.

33 Undvik hypotetiska frågor Vilken barnomsorgsform skulle du välja om du skulle få erbjudande om både kommunal och privat barnomsorg och månadskostnaden för den privata var 10% högre än för den kommunala.

34 Fråga om en sak i sänder Anser du, att personalen på banken är vänlig och kunnig? Bättre: Anser du att personalen på banken är vänlig? Anser du att personalen på banken är kunnig?

35 Precisera frågan i tid och rum Hur stor andel av antalet livsmedelsinköp under en vecka gör du normalt på en stormarknad? Problem: - Det framgår ej vilken tidsperiod som avses - Begreppet ”normal andel” är svårgripbart. - Begreppet stormarknad är ej definierat.

36 Språket Undvik fackuttryck Använd ett så enkelt språk som vanligt. Använd gärna ett språk som undersökningspersonen är van vid.

37 Fasta svarsalternativ Lätta att koda och bearbeta Lätta att besvara Bör vara ömsesidigt uteslutande (varje svar får endast förekomma en gång). Bör vara uttömmande (alla tänkbara alternativ skall finnas med).

38 Öppna frågor Kan vara svåra att bearbeta och koda. Enda alternativet då svarsalternativen är okända eller inte möjliga att klassificera. Kan kombineras med fasta svarsalternativ. (ex: ם annat ______, ם varför ? _____ ) Lämpliga som avslutning på enkäten.

39 Frågornas ordningsföljd Bakgrundfrågor först. Viktiga frågor tidigt (speciellt vid länga enkäter) Känsliga frågor så sent som möjligt.

40 Test av enkäten Provundersökning – Pilotstudie Testa olika ordning på frågorna. Testa kodningen av svaren. Ger undersökningen svar på frågeställningarna? Skall svarsalternativen modifieras? Skall frågorna omformuleras?

41 Rapportskrivning / Krav på statistiska avsnitt Definiera alla variabler och begrepp. Ange de tidsperioder som avses. Definiera populationer och ange storlek på urval. Om resultat hämtats från andra källor måste man ange detta. Välj inte bara resultat som stöder den egna teorin!

42 Rapportskrivning/ Krav på tabeller och diagram. Tabeller och diagram måste alltid analyseras och förklaras närmare i texten. Markerade skalor och namn på axlar ska finnas med. Ej för detaljerade tabeller och diagram. Om tabeller/diagram tagits direkt från datorutskrifter ska beteckningar klargöras.