Skandinaviska Utvärderingsinstitutet UviAB För … - Utvärderingsbara mål, planer och program - Policydokument, Tjänstegarantier - Kvalitetsutveckling - säkring, styrning, kontroll - Uppföljning - Utvärdering … krävs dokumenterad kunskap om verksamheten Skandinaviska Utvärderingsinstitutet UviAB

Skandinaviska Utvärderingsinstitutet UviAB Kunskapsbankens innehåll Hårda mått - Vedertagen statistik - Nyckeltal Subjektiva mått - Resultat från attitydmätningar - Kunskap från intervjuer/gruppsamtal - Nyckelpersoners intuition/erfarenhet/ ”fingertoppskänsla” Skandinaviska Utvärderingsinstitutet UviAB

Skandinaviska Utvärderingsinstitutet UviAB Grundregler för kunskapsbanken - Begripliga för alla - Enkla men säkra metoder - Få till antalet men strategiska - Ge väsentlig information - Möjliga att koppla samman - mått att mäta mot - Jämförbara - över tid/mellan verksamheter - Väcka nyfikenhet - stimulera till frågor Skandinaviska Utvärderingsinstitutet UviAB

Skandinaviska Utvärderingsinstitutet UviAB Enkättyper Uppdraget styr innehållet - kultur- och fritidsvanor - mediavanor - drogvanor - utvärdering av mål De tillfrågade styr innehållet - attitydmätningar - upplevd kvalitet Skandinaviska Utvärderingsinstitutet UviAB

Skandinaviska Utvärderingsinstitutet UviAB Generella konstruktionsregler Tydligt syfte Begripliga frågor Begripliga svarsalternativ Blanda inte olika målgrupper Bra ”flöde” Ta konsekvenserna Använd resultaten Skandinaviska Utvärderingsinstitutet UviAB

Skandinaviska Utvärderingsinstitutet UviAB Hur upplever du kontakten med fältarbetare, tjänstemän, politiker?  Bra och tillräckligt ofta  Bra men för sällan  Dålig men tillräckligt ofta  Dålig och för sällan Skandinaviska Utvärderingsinstitutet UviAB

Skandinaviska Utvärderingsinstitutet UviAB Fråga inte om flera saker i en och samma fråga Enkät till elever: ”Lärarna i matte och NO är kunniga och trevliga” Enkät till besökare: ”Bemötandet i receptionen och i korridoren var bra” Skandinaviska Utvärderingsinstitutet UviAB

Skandinaviska Utvärderingsinstitutet UviAB Blanda inte olika svarsalternativ Prenumererar du på någon dagstidning? Ja  Nej  Hur ofta läser du denna tidning noga?  Aldrig  Ibland  Alltid Hur objektivt anser du att Inte objektivt Helt tidningsinnehållet är? alls objektivt      Brukar du läsa andra dagstidningar? Nej  Ja  Skandinaviska Utvärderingsinstitutet UviAB

Skandinaviska Utvärderingsinstitutet UviAB Inga onödiga svarsalternativ! Jag går i årskurs 7 Ja  Nej  Jag går i årskurs 8 Ja  Nej  Jag går i årskurs 9 Ja  Nej  Skandinaviska Utvärderingsinstitutet UviAB

Bättre lösning.... Jag går i årskurs 7  8  9  Skandinaviska Utvärderingsinstitutet UviAB

Skandinaviska Utvärderingsinstitutet UviAB Svår att analysera... Har du idrottat en gång i veckan? ( ) Ja ( ) Nej Har du idrottat två gånger i veckan? ( ) Ja ( ) Nej Har du idrottat tre eller fler gånger i veckan? ( ) Ja ( ) Nej Skandinaviska Utvärderingsinstitutet UviAB

Skandinaviska Utvärderingsinstitutet UviAB Öppna frågor... Har du du inte deltagit ange varför! ................................................................... ................................................................... ................................................................... Skandinaviska Utvärderingsinstitutet UviAB

Skandinaviska Utvärderingsinstitutet UviAB Hur ofta har du på din fritid utövat följande aktiviteter eller besökt följande anläggningar - lokaler - institutioner under de senaste 12 månaderna? Någon/ Någon/ Någon/ Aldrig Aldrig Aldrig/ några några några men men inget gånger/ gånger/ gånger/ mycket något intresse vecka månad år stort intresse intresse Aktiviteter/lokaler/institutioner/ arrangemang Spelat fotboll       Spelat ishockey       Spelat beachvolleyboll       Spelat handboll       Spelat volleyboll       Spelat basket       o.s.v Skandinaviska Utvärderingsinstitutet UviAB

- 1 = 14 + Bemötandet viktigt 95% av de missnöjda klagar inte! Skandinaviska Utvärderingsinstitutet UviAB

Skandinaviska Utvärderingsinstitutet UviAB Speciella konstruktionsregler vid mätning av upplevd kvalitet Frågor på målgruppens villkor: förstudier! Mät på två sätt: vikt och betyg! Skandinaviska Utvärderingsinstitutet UviAB

Skandinaviska Utvärderingsinstitutet UviAB Fråga på målgruppens villkor inte så här: Enkät till biblioteksbesökare: ”Det är viktigt att personalen har tillräckligt med tid för inre arbete” Enkät till föräldrar med barn i förskolan: ”Det är viktigt att personalen har en adekvat utbildning” Skandinaviska Utvärderingsinstitutet UviAB

Skandinaviska Utvärderingsinstitutet UviAB Brukarenkät - fritidsanläggning Resultat från förstudie: Bra öppettider Få tag i personal Kunna få tag i någon på telefon Rent o snyggt Vettiga priser osv Skandinaviska Utvärderingsinstitutet UviAB

Skandinaviska Utvärderingsinstitutet UviAB Välj ut de allra viktigaste  Det är viktigt att öppettiderna är bra  Det är viktigt att jag kan få tag i personal när jag vill  Det är viktigt att alltid kunna få tag på någon via telefon  Det är viktigt att det är rent och snyggt  Det är viktigt att det är vettiga priser Betygsätt samtliga Instämmer Instämmer inte alls helt Öppettiderna är bra 1 2 3 4 5 Jag kan få tag i personal när jag vill 1 2 3 4 5 Jag kan alltid få tag på någon via telefon 1 2 3 4 5 Det är rent och snyggt 1 2 3 4 5 Det är vettiga priser 1 2 3 4 5 Skandinaviska Utvärderingsinstitutet UviAB

Skandinaviska Utvärderingsinstitutet UviAB Sjukhem boende Antal Antal viktigt betyg Jag har ett eget rum där jag trivs 11 10 Maten smakar bra 10 4 Personalen har ett mjukt handlag när de hjälper mig med hygien 8 7 Jag får regelbundet komma ut i friska luften 8 1 Jag får duscha när jag vill 7 0 Jag får träning så att jag klarar mig bättre själv 6 0 Jag känner mig trygg på sjukhemmet 5 5 Personalen tar sig tid när jag är ledsen 5 2 Skandinaviska Utvärderingsinstitutet UviAB

Skandinaviska Utvärderingsinstitutet UviAB Fyrfältsdiagram Hög vikt Åtgärda genast bevara utveckla Maten smakar bra Eget rum där jag trivs Ut i friska luften Hjälp med hygienen Duscha Åtgärda på sikt Håll ett öga på Träning att klara sig Känna sig trygg Personalen tar sig tid Låg vikt Låga betyg Höga betyg Skandinaviska Utvärderingsinstitutet UviAB

Skandinaviska Utvärderingsinstitutet UviAB Exempel på en enkel förstudie Vad är viktigt för att du ska trivas i skolan? Skriv ner 5 saker som du spontant kommer på: 1………………………………………………………. 2………………………………………………………. 3………………………………………………………. 4………………………………………………………. 5………………………………………………………. Utan spaning ingen aning Skandinaviska Utvärderingsinstitutet UviAB

Skandinaviska Utvärderingsinstitutet UviAB Extra vikt fråga Det är viktigt att det finns en parkering! För att mäta hur viktigt det är trots att den inte finns. Skandinaviska Utvärderingsinstitutet UviAB

Skandinaviska Utvärderingsinstitutet UviAB Extra betygsfråga På det hela taget tycker jag att skolan fungerar bra för mig! 1 2 3 4 5 För att få en helhetsbedömning av en verksamhet. Skandinaviska Utvärderingsinstitutet UviAB

Skandinaviska Utvärderingsinstitutet UviAB Skalor? 1-4 1-5 1-6 1-10 Skandinaviska Utvärderingsinstitutet UviAB

Distribution Postutskick Utdelning E-post/Internet Skandinaviska Utvärderingsinstitutet UviAB

Skandinaviska Utvärderingsinstitutet UviAB Tänk på! Postutskick: 2 påminnelser 2,5 ggr portot Utdelning: Samma förhållningssätt! Glöm ”ta med-fyll i hemma” Skandinaviska Utvärderingsinstitutet UviAB

Skandinaviska Utvärderingsinstitutet UviAB Intervjuer vs enkäter ?? Skandinaviska Utvärderingsinstitutet UviAB

Bakgrundsvariabler Kön Ålder Skola/enhet/avdelning o.s.v. VARNING!! Skandinaviska Utvärderingsinstitutet UviAB

Skandinaviska Utvärderingsinstitutet UviAB Fokusgrupper - En kvalitativ metod ! - Fokus på EN fråga ! - Givna spelregler ! Skandinaviska Utvärderingsinstitutet UviAB

Skandinaviska Utvärderingsinstitutet UviAB Fokusgrupper Vad är det? Ett gruppsamtal Ett bestämt syfte Utvalda deltagare Tränad gruppledare Tränad observatör/sekreterare Skandinaviska Utvärderingsinstitutet UviAB

Skandinaviska Utvärderingsinstitutet UviAB Fokusgrupp 6-12 personer 60-90 minuter Öppna frågor Viss styrning Utbyte av tankar och erfarenheter Ingen diskussion Trivsam/trygg lokal Skandinaviska Utvärderingsinstitutet UviAB

Skandinaviska Utvärderingsinstitutet UviAB Fokusgrupper Användningsområden Informationsmaterial Broschyrer Kampanjer Marknadsföring Mäta upplevd kvalitet Ställa rätt frågor i enkäter Fördjupad analys utifrån enkätsvar Planeringsunderlag Mål- och plandokument Tjänstegarantier Utvecklingssamtal - Medarbetarsamtal Utlovad service - Policydokument Skandinaviska Utvärderingsinstitutet UviAB

Skandinaviska Utvärderingsinstitutet UviAB Fokusgrupper - Fördelar Många användningsområden Enkel att använda Relativt låga kostnader Uppskattad av deltagarna Engagerar och skapar dialog Skandinaviska Utvärderingsinstitutet UviAB

Skandinaviska Utvärderingsinstitutet UviAB Fokusgrupper - nackdelar Svårt att få folk att komma Svårt att få folk att gå hem när de väl kommit Gruppledaren kan påverka Dominerande deltagare kan påverka Svårt att få alla aktiva Litet urval Inga statistiska sammanställningar Skandinaviska Utvärderingsinstitutet UviAB

Skandinaviska Utvärderingsinstitutet UviAB Resultat från fokusgrupp Vad är viktigt för att du ska tycka att medarbetarsamtalet fungerar bra? Vara väl förberedd Chefen väl förberedd Klar mall för samtalet Chefen ska lyssna Mina värderingar får komma till uttryck Ingen tidspress Samtala i lugn och ro Återkoppling till föregående samtal Samtalet leder framåt - klar målsättning Trevlig miljö Positiv anda Skandinaviska Utvärderingsinstitutet UviAB

Skandinaviska Utvärderingsinstitutet UviAB Från Kvalitativ metod Till Kvantitativ metod Från fokusgrupp till frågeformulär Skandinaviska Utvärderingsinstitutet UviAB

Skandinaviska Utvärderingsinstitutet UviAB Mätning i gruppen Vad är viktigt för ett bra medarbetarsamtal och hur fungerar det? Kryssa de 6 allra viktigaste Sätt betyg 1 till 5 på alla  1. Jag är själv väl förberedd   2 Min chef är väl förberedd   3. Det finns en klar mall för samtalet   4. Jag känner att min chef lyssnar på mig   5. Mina egna värderingar får komma till uttryck  tillräckligt mycket  6. Jag känner inte någon tidspress under samtalet   7. Vi kan samtala i lugn och ro   8. Det finns en bra återkoppling till föregående samtal   9. Samtalet leder framåt till en klar målsättning för  mitt arbete  10.Samtalet genomförs i en trevlig miljö   11.Samtalet genomförs i en positiv anda  Skandinaviska Utvärderingsinstitutet UviAB

Skandinaviska Utvärderingsinstitutet UviAB Vad är viktigt för ett bra medarbetarsamtal och hur fungerar det? Summa Resultat Vikt Betyg 1-5 1. Jag är själv väl förberedd 8 41 2 Min chef är väl förberedd 10 44 3. Det finns en klar mall för samtalet 2 29 4. Jag känner att min chef lyssnar på mig 8 45 5. Mina egna värderingar får komma till uttryck 2 40 tillräckligt mycket 6. Jag känner inte någon tidspress under samtalet 3 39 7. Vi kan samtala i lugn och ro 4 36 8. Det finns en bra återkoppling till föregående samtal 5 41 9. Samtalet leder framåt till en klar målsättning för 10 18 mitt arbete 10.Samtalet genomförs i en trevlig miljö 1 43 11.Samtalet genomförs i en positiv anda 7 46 Skandinaviska Utvärderingsinstitutet UviAB

Skandinaviska Utvärderingsinstitutet UviAB Enkät till samtliga anställda Vad är viktigt för ett bra medarbetarsamtal ? Kryssa de 4 allra viktigaste - OBS, endast 4 kryss.  Det är viktigt att jag själv är väl förberedd  Det är viktigt att min chef är väl förberedd  Det är viktigt att det finns en klar mall för samtalet  Det är viktigt att jag känner att min chef lyssnar på mig  Det är viktigt att mina egna värderingar får komma till uttryck tillräckligt mycket  Det är viktigt att jag inte känner någon tidspress under samtalet  Det är viktigt att vi kan samtala i lugn och ro  Det är viktigt att det finns en bra återkoppling till föregående samtal  Det är viktigt att samtalet leder framåt till en klar målsättning för mitt arbete  Det är viktigt att samtalet genomförs i en trevlig miljö  Det är viktigt att samtalet genomförs i en positiv anda Skandinaviska Utvärderingsinstitutet UviAB

Skandinaviska Utvärderingsinstitutet UviAB Hur fungerar medarbetarsamtalen ? Tag ställning till samtliga 11 påståenden på en skala från 1 till 5 Instämmer Instämmer inte alls helt Jag själv är väl förberedd 1 2 3 4 5 Min chef är väl förberedd 1 2 3 4 5 Det finns en klar mall för samtalet 1 2 3 4 5 Jag känner att min chef lyssnar på mig 1 2 3 4 5 Mina egna värderingar får komma till uttryck tillräckligt mycket 1 2 3 4 5 Jag känner inte någon tidspress under samtalet 1 2 3 4 5 Vi kan samtala i lugn och ro 1 2 3 4 5 Det finns en bra återkoppling till föregående samtal 1 2 3 4 5 Samtalet leder framåt till en klar målsättning för mitt arbete 1 2 3 4 5 Samtalet genomförs i en trevlig miljö 1 2 3 4 5 Samtalet genomförs i en positiv anda 1 2 3 4 5 Skandinaviska Utvärderingsinstitutet UviAB

Skandinaviska Utvärderingsinstitutet UviAB Kravspecifikation medarbetarsamtal 1 Samtalet ska leda framåt - klar målsättning 2 Chefen ska vara väl förberedd 3 Medarbetaren ska vara väl förberedd 4 Chefen ska lyssna 5 Positiv anda 6 Återkoppling till föregående samtal 7 Samtala i lugn och ro 8 Ingen tidspress 9 Klar mall för samtalet 10 Egna värderingar ska komma till uttryck Skandinaviska Utvärderingsinstitutet UviAB

Skandinaviska Utvärderingsinstitutet UviAB Underlag vid klientsamtal Hur blev du bemött i receptionen? Förra gången Inte så bra Mycket bra 1 2 3 4 5 6 7 8 9 10 Den här gången Inte så bra Mycket bra 1 2 3 4 5 6 7 8 9 10 Hur kändes det att komma hit? Förra gången Inte så bra Mycket bra 1 2 3 4 5 6 7 8 9 10 Den här gången Inte så bra Mycket bra 1 2 3 4 5 6 7 8 9 10 Skandinaviska Utvärderingsinstitutet UviAB

Skandinaviska Utvärderingsinstitutet UviAB Underlag vid utvecklingssamtal Hur trivs du i skolan? Förra gången Inte så bra Mycket bra 1 2 3 4 5 6 7 8 9 10 Den här gången Inte så bra Mycket bra 1 2 3 4 5 6 7 8 9 10 Om ett halvår? Inte så bra Mycket bra 1 2 3 4 5 6 7 8 9 10 Hur ska vi tillsammans nå dit? Skandinaviska Utvärderingsinstitutet UviAB

Skandinaviska Utvärderingsinstitutet UviAB Grundformulering Varje elev ska känna trygghet och trivsel, uppmuntras till nyfikenhet, visa solidaritet, uppleva rättvisa, visa respekt för människor och uppleva utveckling i sin skolgång.   Skandinaviska Utvärderingsinstitutet UviAB

Skandinaviska Utvärderingsinstitutet UviAB Målets olika budskap - Alla elever ska alltid uppleva att de trivs i den verksamhet de befinner sig i.   - Alla elever ska alltid uppleva att de är trygga i den verksamhet de befinner sig i.   - Alla elever ska alltid känna att de uppmuntras till nyfikenhet.   - Alla elever ska alltid visa solidaritet mer varandra och med personalen. o.s.v.  Skandinaviska Utvärderingsinstitutet UviAB

Skandinaviska Utvärderingsinstitutet UviAB Målets olika budskap - översatta till enkätfrågor - Jag upplever alltid att jag trivs i skolan.   - Jag känner mig alltid trygg i skolan.   - Jag känner att skolan uppmuntrar min nyfikenhet.   - Jag tycker att eleverna alltid visar solidaritet med varandra o.s.v.  Skandinaviska Utvärderingsinstitutet UviAB

Skandinaviska Utvärderingsinstitutet UviAB Servicenämndens uppdrag Servicenämnden ska, till interna beställare inom Kungsbacka kommun, tillhandahålla/sälja efterfrågade tjänster inom områdena fastighetsförvaltning, städ-, måltids- och övrig service samt administration med hög kompetens, kvalitet och till konkurrenskraftiga priser, så att beställaren får ett mervärde att ge kommuninvånarna. Inriktningsmål Servicenämnden skall; - öka förtroendet för verksamheten bland beställarna - erbjuda bästa pris till efterfrågad kvalitet - arbeta med ständiga förbättringar - ha rätt kompetens för nuvarande och kommande arbetsuppgifter. Skandinaviska Utvärderingsinstitutet UviAB

Skandinaviska Utvärderingsinstitutet UviAB Mål för Servicekontoret   Alla brukare ska alltid ha stort förtroende för servicekontoret.   Alla brukare ska alltid uppleva att servicekontoret har bra priser   Alla brukare ska alltid uppleva att servicekontoret arbetar med ständiga förbättringar   Alla brukare ska alltid uppleva att servicekontoret har rätt kompetens för nuvarande arbetsuppgifter   Alla brukare ska alltid uppleva att servicekontoret har rätt kompetens för kommande arbetsuppgifter Skandinaviska Utvärderingsinstitutet UviAB

Skandinaviska Utvärderingsinstitutet UviAB Brukarinriktad utvärdering utifrån mål som bygger på uppdrag och inriktningsmål   Frågor som beställare/brukare får ta ställning till: Jag har stort förtroende för servicekontoret   Jag upplever att servicekontoret har bra priser   Jag upplever att servicekontoret arbetar med ständiga förbättringar   Jag upplever att servicekontoret har rätt kompetens för nuvarande arbetsuppgifter   Jag upplever att servicekontoret har rätt kompetens för kommande arbetsuppgifter Skandinaviska Utvärderingsinstitutet UviAB

Skandinaviska Utvärderingsinstitutet UviAB Gemensamt regelverk Gör förstudier innan mätningar Mät både vikt och betyg Gemensam värdeskala t.ex. 1-5 Gemensam struktur och layout på rapporter Regelbundenheten Mål och planer ska vara utvärderingsbara Skandinaviska Utvärderingsinstitutet UviAB

Skandinaviska Utvärderingsinstitutet UviAB Spelregler vid mätning av upplevd kvalitet via enkäter eller intervjuer inom barn- och ungdomsförvaltningen Målgrupper - Barn/elever - Föräldrar - Personal. Utformning, utskick, genomförande och redovisning ska ske enl tidsplan. Enkäter sammanställs centralt för gemensamt utskick och gemensam utformning. Bearbetning sker lokalt på varje enhet. Redovisning i enheternas årliga kvalitetsrapport. Sammanställning centralt för redovisning till skolverket. Skandinaviska Utvärderingsinstitutet UviAB

Skandinaviska Utvärderingsinstitutet UviAB Spelregler enkäter inom barn- och ungdomsförvaltningen - Enkäter ska riktas till enskilda målgrupper. - Frågorna tas fram genom förstudie t.ex. fokusgrupp, i resp målgrupp. - Enkäterna ska innehålla en viktdel och en betygsdel. - Max 20 frågor/påståenden - Betygsskalan ska vara 5-gradig. - Viktning genom kryss på 1/3 av frågorna. - Bearbetning/resultat tas fram lokalt. Skandinaviska Utvärderingsinstitutet UviAB

Skandinaviska Utvärderingsinstitutet UviAB Spelregler intervjuer inom barn- och ungdomsförvaltningen - Intervjuer ska genomföras av intervjuutbildad personal. - Underlag tas fram genom förstudie t.ex. fokusgrupp. - Intervjuerna ska ske i strukturerad form. - Max 10 frågor/påståenden - Betygsskalan ska vara 5-gradig. - Viktning genom kryss på 1/3 av frågorna. - Bearbetning/resultat tas fram lokalt. Skandinaviska Utvärderingsinstitutet UviAB

Skandinaviska Utvärderingsinstitutet UviAB Spelregler rapporter inom barn- och ungdomsförvaltningen Varje rapport ska innehålla - Viktlista i rangordning för alla påståenden - Vikt samt betyg 3-5 för alla påståenden - Vikt samt betyg 4-5 för alla påståenden - Snittbetyg oavsett vikt för alla påståenden - Fyrfältsdiagram med vikt och betyg Skandinaviska Utvärderingsinstitutet UviAB