Brant Oliver, PhD, MS, MPH, APRN-BC

En presentation över ämnet: "Brant Oliver, PhD, MS, MPH, APRN-BC"— Presentationens avskrift:

1 Brant Oliver, PhD, MS, MPH, APRN-BC
Connecting Measures Gösta Hiller, PhD Brant Oliver, PhD, MS, MPH, APRN-BC QRC Stockholm November 27, 2014

2 Förutsättningar Coaches, grundläggande kunskaper (Lake Morey): Grunderna med mätningar, stödja förbättringsarbetet med teamet. Liknande seminarium den 19/9 för ledare. Connecting Measures: Koppla samman Definitions, metoder och kvalitetsregisterdata.

3 Mål med sessionen Hur ska man “bryta ned” sina förbättringsmål till mätbara mål? (Measurement Definitions) Lära känna run charts och statistical Process Control (SPC). (Measurement Methods) Koppla ihop QR-data med förbättringsdata. (Driver Diagrams)

4 Why Measurement? Varför ska man mäta? Förstå uppgifter som vi observerar Är det slumpen som styr? Om det som vi vill förbättra verkligen blir bättre (sämre)?

5 Kvalitetsregister Rätt variabler för lokalt förbättringsarbete?
Ej tillräckligt anpassade variabler, t ex BMI Förbättringsarbetets inriktning, t ex utskrivningsrutin

6 Mätningar och förbättringsprocess
-Vad påminner denna förbättringstriangel om?

7 The Ramp Relationship

8 Global Aim Specific Aim Change Idea “The Big Picture” “Komponenter”
Conceptual Definition “The Big Picture” “Komponenter” “Vad är förändringen?” Mätningen (Abstrakt idé) Mätningen (“Specificera och kvantifiera”) Operational Definition Koncept exempel: -antal patienter på återbesök Measurement Plan ‘The How’ “Hur, vad, var, när, och vem”

9 Global Aim Specific Aim Change Idea
Conceptual Definition “Förbättra kvalite på preventiv hjärtsjukvård efter infarkt” “Öka andelen patienter som når målnivåer för blodfett, rökning, blodtryck och fysisk aktivitet före maj 2015. “Förändrad vårdprocess med ökad patienttid hos hjärtsjuksköterska” Antal patienter som når målnivåer Operational Definition % patienter som når målnivåer (jmf före intervention) Lodrät samband mellan mål & definitioner

10 Conceptual and Operational
Conceptual Definition Vad ska mätas t ex. Väntetid efter diagnos till behandling av specialist. Operational Definition Vilket mått, ska det mätas med? T ex. Tid i dagar, från diagnos till patienten får specialistbehandling (går in på rummet). Operational definitions in %, minutes, mm Hg etc Fel C=waiting time, O=patient satisfaction

11 Definitions Mini-Module
Praktisk övning Städa rummet: Operational Definitions Tonårings sovrum Femstjärnigt hotell Operationssal för brännskadepatienter Koncept kan vara lika men operational definitions är olika 3 min disk, 5 min redovisning -Hur ska du mäta? Observation?, microskåpiskt

12 Vill du veta mer? Conceptual and Operational definitions: Quality by Design: kap 16 & 18 Team Handbook: pp 4-10 & 4-11

13 Data Collection Plan Global Aim Specific Aim Change Idea
Conceptual Definition “The Big Picture” “Komponenter” “Vad är förändringen?” Mätningen (Abstrakt idé) PDSA medför mätningar!! Operational Definition Mätningen (“Specificera och kvantifiera”) Measurement Plan ‘The How’ “Hur, vad, var, när, och vem” PDSA

14 Varför Run charts & Statistical Process Control (SPC)?
Parametrisk statistik ( t ex t-test) har en behandling en statistiskt säkerställd effekt? Före och efter en intervention ”tar en droppe som är representativ för hela sjön” Run charts & SPC Statistik över process Före och efter intervention + stabilitet ”mäter kvalité av ett flöde över tid” Kliniker kan inte randomisera alla patienter för klinikens

15 Stina och Erik, placerade 10 skott på tavlan.
Variation Stina och Erik, placerade 10 skott på tavlan. Vem är bästa skytten? Stina Erik 15 15

16 Variation Stina Erik Stinas skott är samlade
Erik träffar “bulls eye”, men sprider träffarna Stina måste justera hennes skott, ner och vänster. Sedan perfekt resultat! Ofta, vi tittar bara på den mest korrekta data punkten och antar att detta representerar processens resultat. 16 Stina Erik 16

17 Dödlighet i kranskärlskirurgi
Man införde ett nytt protokoll för kirurger jan -99 20% reduktion!!

18 Dödlighet i kranskärlskirurgi
Instabil process = special cause variation Lärdom, mät process

19 Basic Analytic Displays: Run Charts
Tidsplott + Median = Run Chart 19

20 1) Median Performance 2) Range (Precision) 3) Variation Type
20

21 Typer av Process Variation
Common Cause Slumpmässig variation i systemet, beror på många mindre faktorer. Example: Variation i arbetet försening i trafikljus, gångtrafik, olika sätt att applicera en metod. Special Cause Speciell omständighet orsakar variation som inte beror på system. Example: Variation i arbete försening pga punktering, vägspärr, applicering av metod som ger oacceptabel variation. Statistiskt signifikant 21 21

22 Är Special Cause bra eller dåligt?
Common Cause betyder INTE “Bra variation.” Det betyder bara att processen är stabil och förutseende. T ex systoliskt blodtryck 165 och oftast mellan 160 och 170 mmHg, stabilt och förutseende men oacceptabelt. Special Cause variation betyder INTE “Dålig variation” Special cause kan vara bra resultat (t ex, kort processtid). Special Cause betyder bara att processen är instabil och oförutsägbar.

23 Special Cause Signals Närvaro av för mycket eller för lite variation
RUN = en eller flera efterföljande punkter på samma sida av medianen. För få eller för många RUNS (beror på antal punkter på grafen) Närvaro av SHIFT En “run” som är för lång (≥8 följande punkter på samma sida av medianen) Närvaro av en TREND En “run” med efterföljande punkter som ökar eller minskar (≥7 efterföljande punkter) 17

24 (På medianen räknas inte!)
Special Cause Signals RUN = en eller flera efterföljande punkter på samma sida av medianen. (På medianen räknas inte!)

25 Special Cause Signals: Shifts
En “run” som är för lång (≥8 följande punkter på samma sida av medianen)

26 Special Cause Signals: Trends
En “run” med efterföljande punkter som ökar eller minskar (≥7 efterföljande punkter)

27 Vad är saken med Run Charts?
Enkla att använda Ger bra grafisk översikt Upptäcker problem Ser hur din klinik presterar (mål & förändring) Regler gäller 12 – 25 punkter i run chart 12 punkter är svårt att se en förändring Över 25 kan ge falska positiva

28 Endast common cause Bara 20 punkter, stabilt men är det acceptabelt? Ändra hela processen, om special cause, undersök och utvärdera Lås medianen. Om en process med medelvärde under 31 dagar kan detta indikera på ”shift” (>8 punkter)

29 1. Special cause eller common cause variation?
Endast common cause! 1. Special cause eller common cause variation?

30 2. Stabilt eller oförutsägbart?
Endast common cause Bara 20 punkter, stabilt men är det acceptabelt? Ändra hela processen, om special cause, undersök och utvärdera Lås medianen. Om en process med medelvärde under 31 dagar kan detta indikera på ”shift” (>8 punkter) 2. Stabilt eller oförutsägbart?

31 Statistical Process Control (SPC), Control Charts (Schewhart chart)
Control Charts jmf Run Charts Mer känslig än Run Charts Control limits (UCL, LCL), beskriver variabiliteten av process Medelvärde, ej median Mer data än Run Charts (ej Shifts/Trends) UCL, LCL är EJ övre/undre konfidensintervall av en distribution Control chart ca 20 punkter minimum

32 Time-ordered Observations
SPC Sigma est. (”σ hatt”) Control Limits Mean (Avg.) Measured Value (“x”) Sigma = standarddeviation, för en distribition/population sigma est = sigma limitsUCL/LCL = ger gränserna för variationen (Note: The hat over the sigma symbol indicates that this is an estimate of standard deviation, not the true population standard deviation.) When using small samples or varying populations, the simple formula using the mean and standard deviation just doesn't work, because you don't know the average, µ, or sigma of the total population, only µ or sigma of your sample. X med streck över = medelvärde X med vågstreck = median Time-ordered Observations Anatomy of a SPC Chart…

33 Exempel på relationen mellan normal distribution och XmR chart.
SPC normal curve in which percent of all data is within plus or minus one standard deviation from the average, percent of all data is within plus or minus two standard deviations from the average, and percent of data will be within plus or minus three standard deviations from the average. As such, data should be normally distributed (or transformed) when using control charts, or the chart may signal an unexpectedly high rate of false alarms Exempel på relationen mellan normal distribution och XmR chart.

34 The Signals 17 34

35 Typer av Process Variation
Common Cause Slumpmässig variation i systemet, beror på många mindre faktorer. Example: Variation i arbetet försening i trafikljus, gång trafik, olika sätt att applicera en metod. Special Cause Speciell omständighet orsakar variation som inte beror på system. Example: Variation i arbete försening pga punktering, vägspärr, applicering av metod som ger oacceptabel variation. Statistically significant 35 35

36 “I Statistical Control” = No Special Cause (Common Cause Variation)
Interpretation “I Statistical Control” = No Special Cause (Common Cause Variation) SHIFT samma som Run Chart (≥8 punkter) TREND samma som Run Chart (≥7 punkter) Punkter utanför control limits (CL).

37 Vilken typ av data har jag? Mått/variabel (Kontinuerlig)
SPC Chart Selection Val av algoritm XmR jmf. p Chart Vilken typ av data har jag? Attribut eller Nominell (ja/nej rätt/fel antingen/eller) Mått/variabel (Kontinuerlig) XmR chart P chart X = enskilt värde, mR moving Range, I-chart P = procent, proportion

38 CF Data – Exempel #1 Maximum BMI
Exercise CF Data – Exempel #1 Maximum BMI 38

39 Vilken typ av data har jag?
Apply the Algorithm Vilken typ av data har jag? Attribut or Nominell Mått/ Variabel XmR chart P chart Kvartal Medelvärde max BMI 2007-1 23.81 2007-2 24.57 2007-3 23.98 2007-4 24.41 2008-1 24.13 2008-2 24.08 2008-3 2008-4 24.16 2009-1 24.72 2009-2 24.22 2009-3 24.83 2009-4 24.67 2010-1 25.67 2010-2 26.14 2010-3 26.11 2010-4 24.56 2011-1 25.75 2011-2 26.10 2011-3 24.93 2011-4 29.40 39

40 -Hur många Special Cause signaler i denna XmR chart?
Question -Hur många Special Cause signaler i denna XmR chart? Ett Två Tre Fyra 40

41 Det finns TVÅ Special Cause Signals.
Answer Det finns TVÅ Special Cause Signals. Analys Trends = 0 Shifts = 1 Punkter utanför gränser = 1 41

42 Förlossningsdata -- Exempel #2
Exercise Förlossningsdata -- Exempel #2 42

43 Vilken typ av data har jag?
Attribut or Nominell Mått/ Variabel XmR chart P chart Kvartal Vaginal förlossning Kejsarsnitt 2007-1 79 18 2007-2 95 27 2007-3 76 23 2007-4 100 32 2008-1 111 31 2008-2 103 38 2008-3 101 29 2008-4 49 14 2009-1 119 37 2009-2 88 30 2009-3 80 19 2009-4 86 17 2010-1 145 24 2010-2 108 13 2010-3 129 2010-4 138 28 2011-1 2011-2 132 54 2011-3 92 42 43

44 Question Ett Två Tre Fyra
-Hur många Special Cause signaler i denna P chart? Ett Två Tre Fyra 44

45 Det finns FEM Special Cause Signaler
Answer Det finns FEM Special Cause Signaler Analys 1. Shifts = 1 2. Trends = 0 3. Punkter utanför gränser = 4 45

46 Mer SPC analyser Andra algoritmer, C-/U-, S-, X-bar, S-charts
Abnorma mönster (sigma-zoner) Mm mm

47 Vill du veta mer? QRC Coachingakademi
Mätverket Improving Healthcare with Control Charts (R. Carey) Kvalitet från behov till användning, (Bo Bergman) Excel-mallar för run charts & control charts

48 Long-Term jmf. Short-Term
Long-Term Measures (t ex. register, resultat/outcomes): Definierar större intervall. (T ex. BMI, blodtryck) Short-Term Measures (lokalt förbätt. arb t ex. process): Mäta effekten i en snabb process t ex. PDSA (väntetid). Not exactly or only beginning and end, but certainly intervals

49 Exempel: Barncancerregistret
Koppla QR-data till kliniken Exempel: Barncancerregistret Mål: Hjälpa patient att bibehålla vikt under behandling. Primärt resultatmått: BMI Hur mäta BMI på klinik? -Vad driver BMI? Lägg till mått som driver BMI under behandling: Kräkningar, illamående Operational definitions: Antal, skala? Gosta

50 Linking Short and Long-Term Measures
Länka lokalt förbättringsarbete med övergripande registerdata Mål (Önskat resultat) SHORT-TERM PROCESS MEASURES 3 Improvement Ramp P D S A PDSA 2 1 Pre-Improvement Measures

51 “Short term” PROCESS mått
Korsbandsoperation (ACL) exempel KOOS = Knee injury and Osteoart. Outcome Score Baselinje status (register) “Short term” PROCESS mått “Long term” Resultat (register) KOOS, Knee injury and Osteoarthritis Outcome Score 1-100 Smärta, svullnad, ledrörlighet & mekaniska symptom, funktionsnedsättning ADL, funktionsnedsättning fysisk aktivitetet, knärelaterad livskvalité Man har mått (% sjukgymnast) som DRIVER Intervention -Ökad rehab med sjukgymnast. KOOS beror på 5 dimensioner bl a smärta, ADL, fysisk aktivitet, knärelaterad livskvalité. Registerdata förbättras långsammare än “snabba” föbättringsdata.

52 Diskussion: Door to Needle Time (Trombolys)
Pre-Improvement Measures SHORT-TERM PROCESS MEASURE Mål (önskat resultat) Minska “door to needle time” (> 60 minuter) “door to needle time” (XX minuter) 2014 ???

53 Trombolyskedjan före förbättringsarmetet
Stroketrombolyssimulering, dagtid; 37 min Inkommer till akuten via ambulans eller luckan På akutrummet Tid: ca 20 min Anamnes Fullständig NIHSS-skala Exklusionskriterier Bakjourskontakt/HASTA-jour Röntgenremiss Blodtryck EKG PVK Prover ID-märkning På röntgen Tid:13 min Remiss inte alltid ”klar” så att undersökningen kan starta Efter röntgen åter till akuten eller IVA i väntan på slutsvar På IVA Tid; 5 min Väntan på slutsvar Trombolys /bolusdos börjar blandas när slut svaret kommit Trombolys Startas På IVA Genomgång av patientflöde och olika processer runt patienten -Vad skulle ni föreslå för koncept att mäta?

54 Diskussion: Door to Needle Time (Trombolys) SHORT-TERM PROCESS MEASURE
Pre-Improvement Measures SHORT-TERM PROCESS MEASURE Mål (önskat resultat) Reducera “door to needle time” (> 60 minutes) Förbättring “door to needle time” (22 minutes) 2014 % standardiserad remiss Röntgen (process tid) 5P startar Pre- Register Kliniken Register

55 Vad påverkar en variabel eller mål?
Syfte Samband mellan övergripande mål (QR-data) och underliggande mål/drivers Driver Diagrams

56 Driver Diagrams Secondary Drivers Primary Drivers A 1 B Mål 2
‘Multipla influencer’ Resultat C 3 D ‘Påverkar resultatet’ Credit: S. Harrison, Sheffield MCA (2014)

57 Exempel: Riksstroke, Norrtälje
Secondary Drivers Primary Drivers Stand. remiss Antal Door to needle Tid röntgen Min. Urvals- process Val 1 el. 2 Mål Vård på strokeenhet Platsbrist Antal God Återhämtning efter stroke (ADL) Antal sjukgym. Tidig rehabilitering Antal Egenvård Val 1 el. 2 Credit: S. Harrison, Sheffield MCA (2014)

58 Driver Diagram Worksheet
Vad kan vi göra för att påverka specifika mål? Hur kan vi mäta det? Vilka är faktorerna som påverkar övergripande mål? Hur mäts det I registret/annat sätt? Övergripande mål Hur mäts det I registret?

59 Olika typer av data/variabler
Process: Åtgärden eller serviceaspekten, t ex. % som får sitt knä diagnostiserat, % som får blodtrycket kollat, besökstider etc. Resultat (Outcome): Result av åtgärd eller intervention, t ex. dödlighet, morbiditet, HbA1c, sjukfrånvaro, patientnöjdhet, etc. Struktur: T ex. Utrustning, vårdplatser, heltidstjänster.

60 Driver Diagram: Stroke Exempel
PDSA 1 Specific aim: Implementera standardiserade remisser (Meso-) Global Aim: Minska “door to needle time” (Macro/Meta) PDSA 2 Specific aim : Minska tid på röntgen (Meso-) PDSA 3 Specific aim: Öka andel fördiga (mixade) doser av trombolys (Micro-)

61 “Leaders and coaches create the conditions for success”
Summering Kopplat Definitions till Metoder (SPC) och kopplat genom Drivers till kvalitetsregister/övergripande mål. Gått igenom tekniker som används av coacher/team. Defining measures (Conceptual, operational) Run Charts / SPC Charts Drivers in measures “Leaders and coaches create the conditions for success”

62 Veta mer och öva? Measurement videos (Coursesite/IHI Open School, Youtube) Slide sets (Coursesite) Excel templates (Coursesite/ Worksheets (Coursesite/ Improving Healthcare with Control Charts (R. Carey) Kvalitet från behov till användning, (Bo Bergman)

63 Tack för uppmärksamheten och lycka till att mäta!