Något om val mellan olika metoder

En presentation över ämnet: "Något om val mellan olika metoder"— Presentationens avskrift:

1 Något om val mellan olika metoder
Givet är en observerad tidsserie: y1, y2,…,yn Nej Nej Säsonger? ARMA-modeller Enkel exponentiell utjämning Trend? Ja Tidsserieregression ARIMA-modeller Dubbel exponentiell utjämning Tidsserieregression Klassisk komponentuppdelning (S)ARIMA-modeller Winters’ metod

2 Modernare metoder för tidsserieanalys och prognoser
ARMA-, ARIMA, (S)ARIMA Modernare metoder för tidsserieanalys och prognoser Box, George and Jenkins, Gwilym (1970) Time series analysis: Forecasting and control, San Francisco: Holden-Day Ett “standardverk” som samlade upp idéer, uppkomna från c:a 1950-talet inom ekonometri och ingenjörsvetenskap Skapade ett system för att identifiera, skatta och utvärdera modeller för tidsserier Metodologin går fortfarande under namnen “Box-Jenkins-metodik”

3 Exempel: Växelkurs EUR/SEK 25 sep – 25 nov 2008 (Källa: www. oanda
Exempel: Växelkurs EUR/SEK 25 sep – 25 nov 2008 (Källa: ) Säsongsvariation? Trend? Konjunktur? Om vi skulle vilja göra korttidsprognoser för t.ex. en dag eller två?

4 Tidsserieregression, linjär trend
Med hittills genomgångna metoder: 1) Tidsserieregression med linjär/kvadratisk trend, men utan säsongdummies 2) Dubbel exponentiell utjämning (Holt’s metod) Fungerar dessa bra? Smoothing Constants Alpha (level) Gamma (trend) Tidsserieregression, linjär trend Holt’s metod

5 En vanlig metod som inte tagits upp till fullo i kursen:
Rullande medelvärden (mer korrekt: Glidande oviktade medelvärden) StatTime SeriesMoving Average… Veckovis “rullande” medelvärden

6 Inte så imponerande heller!

7 Är nedanstående bättre
Är nedanstående bättre? (De gröna trianglarna motsvarar prognoserna för 26/11 och 27/11 samt prognosintervallgränser, resten är originaldata.) Vad är detta för metod?

8 Några viktiga begrepp i sammanhanget
Stationaritet En tidsserie säges vara stationär om den i princip består av data med konstant väntevärde och varians Något mer matematiskt: E( yt ) =  Var( yt ) =  2 Corr( yt , yt-k ) beror bara av k och alltså inte av t.

9 Hur kan icke-stationära tidsserier se ut?
Linjär trend, icke-stationär av första ordningen Kvadratisk trend, icke-stationär av andra ordningen Icke-konstant varians, även om väntevärdet verkar konstant

10 Är växelkursexemplet en stationär tidsserie?
Beror på tidsperspektivet. Här ser det ut som att en trend finns, men i ett längre tidsperspektiv rör det sig nog bara om en tendens.

11 Kan en tidsserie göras stationär?
Differentiering En tidsserie wt som är icke-stationär av första ordningen (i princip uppvisar en linjär trend) kan differentieras en gång: yt = wt = wt – wt – 1 yt kan då bli en stationär serie (men inte nödvändigtvis) En tidsserie som är icke-stationär av andra ordningen (i princip uppvisar en kvadratisk trend) kan differentieras två gånger: yt = (ut ) = ut – ut – 1 = ut – ut – 1 – ( ut – 1 – ut – 2 ) = ut – 2 ∙ ut – 1 + ut – 2 yt kan då bli en stationär serie (men inte nödvändigtvis)

12 Har den blivit stationär?

13 Variansstabilisering
Om variansen inte bedöms vara konstant  Transformera på samma sätt som vid regressionsanalys, oftast med logaritmering w’t = ln ( wt ) Konstant varians?

14 Efter variansstabilisering kanske det blir OK att differentiera
(log(Wt)) Stationär?

15 Fungerar detta för våra växelkursdata?
Inte otänkbart!

16 Autokorrelation För en tidsserie yt definieras autokorrelationsfunktionen (acf) som k = Corr ( yt , yt – k ) för k = 1, 2, 3, 4, … Anger alltså korrelationen (graden av linjärt beroende) mellan två värden på tidsavstånd k i tidsserien. För en stationär tidsserie skall acf endast vara en funktion av k, dvs. det skall inte spela någon roll var i tidsserien de två värdena ligger utan endast vilket tidsavstånd det är mellan dem. Värdena kan både vara positiva och negativa (beroende på hur beroendet ser ut)

17 För serier med korta beroenden avtar acf snabbt mot 0 då k växer
För serier med långa beroenden avtar acf långsammare, men tydligt mot 0 då k växer

18 En tidsserie med väntevärde 0 och där acf är = 0 överallt kallas vitt brus
Innehåller egentligen ingen information Kan man se i figuren att acf = 0 överallt?

19 Skattning av acf Minitab (och andra statistiska programpaket) har funktioner för att skatta acf från existerande data

20

21 Typiskt exempel på en skattad acf för en tidsserie som inte är stationär. Mycket långsamt avklingande mönster. Autokorrelationen är hög för värden som ligger på en gemensam trend. Skattad acf brukar i litteraturen förkortas SAC (Sample AutoCorrelation function)

22 Hur ser SAC ut för växelkursdata?
Litet väl långsamt avklingande. Tyder på icke-stationaritet i form av linjär trend.

23 Med hjälp av SAC kan man tydligen bedöma om en serie är stationär eller ej. Bra hjälpmedel för att t.ex. se om en differentiering räcker. Icke-stationär (men det visste vi i och för sig) Differentiera en gång Mer stationär, men ännu inte tillräckligt avklingande

24 Logaritmera och differentiera sedan
Bättre än tidigare. Snabbare avklingning mot 0.

25 Partiell autokorrelation
Svårare begrepp. Den partiella autokorrelationen mellan y och x definieras som den del av korrelationen mellan y och x som inte har att göra med andra variabler. Partiell autokorrelationsfunktion (pacf) för tidsserier k = Corr( yt , yt – k | yt – (k – 1) , yt – (k – 2) , …, yt – 1 ) Funktionen har egenskaper som effektivt kan utnyttjas vid identifiering av modeller (se nedan) Även den partiella autokorrelationsfunktionen kan skattas från existerande data. Den brukar då kallas SPAC y Röd korrelation är unik mellan y och x , dvs. partiell korrelation Blå korrelation kommer från y:s och x:s respektive samband med z Röd + Blå är den totala korrelationen. z x

26 Autoregressiva modeller (AR-modeller)
En tidsserie y1, y2, y3, … satisfierar en autoregressiv modell av ordning 1, en s.k. AR(1)-modell om där  och 1 är konstanter (parametrar) och at är vitt brus, dvs. en serie av okorrelerade värden (Corr(at , at – k ) = 0 för alla k) med väntevärde 0 och konstant varians (jfr. t från tidsserieregressionen) (till exempel: yt =  yt – 1 + at ) “autoregressiv” innebär alltså att y har regression “på sig själv” (fast ett tidssteg bakåt)

27 Exempel: yt =  yt – 1 + at där at antas vara okorrelerade och N(0, 2)-fördelade En realisering av denna tidsserie i 200 tidpunkter kan se ut på följande sätt

28 Om vi istället realiserar 200 värden av följande modell
yt = 2.0 – 0.4  yt – 1 + at där at antas vara okorrelerade och N(0, 2)-fördelade dvs. 1 = – 0.4 istället för 0.4 kan vi få Jämför med 1 = 0.4 :

29 Stationära och icke stationära AR(1)-modeller
En tidsserie som satisfierar en AR(1)-modell är stationär om –1 < 1 < 1 Om 1 = 1 eller –1 råder instabilt läge. Serien kan urarta men behöver inte göra det. Om 1 = 1 och  = 0 säges tidsserien vara en random walk (slumpvandring) yt = yt – 1 + at En vanlig modell för enskilda aktiekurser. Prognoser beräknas med den enkla formeln persistensprognos

30 Exempel på realisering av en random walk
Skulle mycket väl kunna motsvara utvecklingen av en aktiekurs, men kan vi med utgångspunkt från det tycka att det rör sig om en trend?

31 Tydligt icke-stationär!
Om | 1 | > 1 säger man ibland att AR(1)-modellen är explosiv. Exempel: En realisering av modellen yt =  yt – 1 + at med at ~ N(0, 2) Tydligt icke-stationär!

32 Identifiering av AR(1)-modeller
För tidsserier som satisfierar en AR(1)-modell och är stationära, dvs. | 1 | < 1, gäller att autokorrelationsfunktionen (acf) är Exempel: 1 = 1 = –0.7

33 Vidare gäller att den partiella autokorrelationsfunktionen är
Exempel: 1 = 1 = –0.7

34 Antag nu att vi har en observerad tidsserie i n tidpunkter: y1, y2,…, yn
Om tidsserien satisfierar en AR(1)-modell borde detta avspeglas i SAC och SPAC, dvs. skattningarna av acf och pacf. Vi förväntar oss att få liknande utseenden som de teoretiska funktionerna har.

35 SAC: Verkar i början avta ungefär som den teoretiska acf. De “spikar” som hamnar inom de röda linjerna kan bortses från om de ligger långt från 0. SPAC: En tydlig spik för k = 1. Övriga kan negligeras. Utseendet överensstämmer alltså med den teoretiska pacf. Verkar vara en AR(1)-modell

36 Skattning av parametrar i en AR(1)-modell
Minitab (liksom andra statistiska programpaket) har procedurer för att skatta parametrar i autoregressiva modeller. AR(1) är ett specialfall av de generella ARIMA-modellerna. Skattningsproceduren är betydligt mer komplicerad än t.ex. För multipel regressionsanalys Ingen närmare teoretisk genomgång görs här.

37 Ger skattning av en AR(1)-modell
Här kan man välja om  skall vara med eller ej

38 ARIMA model for Yt Estimates at each iteration Iteration SSE Parameters Relative change in each estimate less than Final Estimates of Parameters Type Coef SE Coef T P AR Constant Mean

39 Skattad modell är alltså:
Number of observations: 200 Residuals: SS = (backforecasts excluded) MS = DF = 198 Modified Box-Pierce (Ljung-Box) Chi-Square statistic Lag Chi-Square DF P-Value Ljung-Box är mått på hur bra anpassningen har blivit. Alla P-värden skall vara stora här om modellen skall anses vara bra. Skattad modell är alltså: och automatiskt erhålls prognosmodellen:

40 Fler modeller Autoregressiv modell av ordning 2, AR(2):
Har längre beroenden än AR(1) Typiska utseenden hos acf och pacf: acf: Avtar relativt snabbt mot noll, ev. med växlande tecken pacf: Är skild från 0 för k=1 och 2, är 0 för k = 3, 4, 5, ….

41 Glidande medelvärdesmodell av ordning 1, MA(1) (Moving Average):
yt “skapas” alltså genom en sammanvägning av det vita bruset (ett sorts glidande medelvärde av en underliggande slumpvariation. en MA(1) är alltid stationär svårare att tolka, svårare att uttrycka en generell prognosformel acf: har motsvarande utseenden som en pacf för AR(1) pacf: har motsvarande utseenden som en acf för AR(1)  Lika “enkelt” att identifiera en MA(1) som en AR(1) skattningar av parametrar och prognoser kan beräknas med samma program som tidigare

42 Glidande medelvärdesmodell av ordning 2, MA(2):
har längre beroenden än en MA(1) är alltid stationär acf: motsvarande utseenden som pacf för AR(2) pacf: motsvarande utseenden som acf för AR(2) Kombinerad autoregressiv och glidande medelvärdesmodell av ordningarna p och q, ARMA(p, q): har mer komplicerade beroenden acf: avtar mot noll, ofta med växlande tecken pacf: avtar mot noll, ofta med växlande tecken

43 Exempel: Tidsserien innehåller trend och är därför inte stationär. Differentiering behövs! Obs! Kvartalsdata, men det är tydligt att någon säsongsvariation ej finns. Betrakta data som varandes utan säsongkomponent.

44 Efter en differentiering:
Kan den vara stationär? Kolla med SAC och SPAC.

45 SAC: Verkar definitivt vara stationär. Frågan är vad det kan röra sig om för modell. Ingen ren AR- eller MA-modell kan ses. Prova med en ARMA(1,1) SPAC:

46 Notera att en ARMA(1,1) skulle gälla för den differentierade serien.
Prognoser vill vi dock ha för originalserien! Minitab (och andra) fixar detta! StatTime SeriesARIMA… Originalserien Anger att vi vill differentiera 1 gång Ordningarna, dvs. 1 och 1 i den ARMA-modell som anpassas till diff. data

47 Anger som vanligt att vi vill ha prognoser 4 tidpunkter framåt räknat från slutet.
(dvs. prognoser för kvartal 1, 2, 3 och )

48 Signifikanta parameterskattningar!
ARIMA Model: Yt . Final Estimates of Parameters Type Coef SE Coef T P AR MA Differencing: 1 regular difference Number of observations: Original series 39, after differencing 38 Residuals: SS = (backforecasts excluded) MS = DF = 36 Signifikanta parameterskattningar!

49 Modified Box-Pierce (Ljung-Box) Chi-Square statistic
Lag Chi-Square * DF * P-Value * Ljung-Box ser bra ut! Forecasts from period 39 95 Percent Limits Period Forecast Lower Upper Actual Prognoserna med intervall!

50 Följande figur kan även “beställas” vid körningen:

51 Åter till växelkursdata!
Om vi nu tror att den differentierade serien är stationär SAC SPAC Ingen renodlad AR- eller MA-modell här heller. Pröva med en ARMA(1,1)

52 Ej signifikanta! Final Estimates of Parameters Type Coef SE Coef T P
Constant Differencing: 1 regular difference Number of observations: Original series 62, after differencing 61 Residuals: SS = (backforecasts excluded) MS = DF = 58 Ej signifikanta!

53 Modified Box-Pierce (Ljung-Box) Chi-Square statistic
Lag Chi-Square DF P-Value Forecasts from period 62 95 Percent Limits Period Forecast Lower Upper Actual OK här! Detta är det diagram vi först såg (men då med trianglarna grönfärgade).

54 Andra tillämpningar: Residualerna från en tidsserieregression, eller från vilken regression som helst där tiden är inblandad kan ofta uppvisa beroendemönster (jfr. Durbin-Watson’s test) Residualerna kan modelleras separat med en AR-modell och därigenom erhålls bättre skattningar och prognoser (smalare prognosintervall) Exempel: I datorövning 6 gjordes en tidsserieregression på andel arbetslösa

55 Residualerna uppvisar en tydlig positiv seriell korrelation, dvs
Residualerna uppvisar en tydlig positiv seriell korrelation, dvs. autokorrelation, eftersom mönstret är en ”följsam” kurva.

56 Osäkra parameterskattningar, breda prognosintervall
Detta är den variationbredd som skattningen av s baseras på Detta är den egentliga variationsbredden som själva slumpen omfattar Om inte hänsyn tas till att residualerna är korrelerade kan man i vissa fall överskatta slumpvariationen Osäkra parameterskattningar, breda prognosintervall

57 Går det nu att anpassa t.ex. en AR-modell till residualerna?
SAC: SPAC: Kanske inte helt orimligt med en AR(1)-modell även om det finns en störande spik i SPAC längst t.h. Det är dock snudd på icke-stationaritet.

58 Ingen konstantterm tas med eftersom residualerna varierar runt 0
Final Estimates of Parameters Type Coef SE Coef T P AR Number of observations: 108 Residuals: SS = (backforecasts excluded) MS = DF = 107 Modified Box-Pierce (Ljung-Box) Chi-Square statistic Lag Chi-Square DF P-Value

59 Anpassningen av en AR-modell till residualerna skall göras samtidigt med anpassningen av själva regressionsmodellen (för att få rätt standardavvikelse och medelfel för skattningar) Kan dock ej göras i Minitab, men i t.ex. SAS Överhuvudtaget kan modellerna byggas ut till att omfatta säsongsvariation (SARIMA) men även för att inkludera andra tidsserier som förklaringsvariabler (s.k. Transfer Function Models) En intressant delmodell av detta är s.k. interventionsmodeller (t.ex. inkludering av 11-september-effekten i analyserna) För allt detta krävs fler kurser i tidsserieanalys!