Regressions- och tidsserieanalys

En presentation över ämnet: "Regressions- och tidsserieanalys"— Presentationens avskrift:

1 Regressions- och tidsserieanalys
Föreläsning 3 732G05 Regressions- och tidsserieanalys

2 Multipel linjär regression
Multipel linjär regression En påbyggnad på enkel linjär regression Beskriva en beroende variabel y utifrån k stycken förklarande variabler x1, x2, …, xk Där ε är feltermen (error term), som står för den del av variationen i y som inte kan förklaras av modellen. Feltermen antas: Ha medelvärde 0 Ha konstant varians σ2 Vara normalfördelad Vara oberoende av andra ε Linköpings universitet

3 Multipel linjär regression Kvadratsummor och varians
Samma beräkningar för SST och SSR Kvadratsummeuppdelning SST = SSR + SSE gäller fortfarande SSE beräknas på samma sätt som innan: Variansen (σ2) skattas med MSE: Standardavvikelsen (σ) skattas med:

4 Multipel linjär regression Hur utreda om modellen är bra?
F-test (Overall F-test, testar hela modellen) H0: Alla parametrar (β1, β2,…, βk) är lika med noll Ha: Minst en av parametrarna är skild från noll Där k är antalet parametrar i modellen Detta värde jämförs med Fα med k och n-k-1 frihetsgrader T-test (testar varje enskild variabel) Beräknas på samma sätt som i enkel linjär regression Skillnad är att t-fördelning med n-k-1 frihetsgrader används

5 Multipel linjär regression Hur utreda om modellen är bra?
Förklaringsgrad (R2) Beräknas och tolkas på samma sätt som i enkel linjär regression Justerad förklaringsgrad ( ) R2 ökar alltid när en ny förklarande variabel läggs till i modellen Den justerade förklaringsgraden tar hänsyn till antalet förklarande variabler Denna ska användas vid jämförelse av modeller med olika antal förklarande variabler 2

6 Multipel linjär regression Exempel 1
Ett datamaterial bestående av 150 slumpmässigt valda husförsäljningar i USA Name Antal Beskrivning Modell Price 150 Pris y Area 150 Area i kvadratfot x1 Acres 150 Tomtyta i tunnland x2 Rooms 150 Antal rum x3 Baths 150 Antal badrum x4 Vi vill undersöka hur priset beror på de förklarande variablerna

7 Multipel linjär regression Exempel 1
Pris mot bostadsyta

8 Multipel linjär regression Exempel 1
Pris mot tomtyta

9 Multipel linjär regression Exempel 1
Pris mot antal rum

10 Multipel linjär regression Exempel 1
Pris mot antal badrum

11 Multipel linjär regression Exempel 1
Minitab: Stat → Regression → Regression

12 Multipel linjär regression Exempel 1
Regression Analysis: Price versus Area; Rooms The regression equation is Price = ,7 Area Rooms Predictor Coef SE Coef T P Constant ,03 0,000 Area 49,673 7,507 6,62 0,000 Rooms ,05 0,962 S = 30047,0 R-Sq = 48,6% R-Sq(adj) = 47,9% Analysis of Variance Source DF SS MS F P Regression ,25273E ,38 0,000 Residual Error ,32715E Total ,57989E+11

13 Multipel linjär regression Punktskattningar
En vanlig tillämpning av multipel linjär regression är att man vill skatta (prediktera) värden för nya observationer Punktskattning (punktprediktion beräknas på samma sätt): Punktskattning (point estimate): Det skattade medelvärdet på y för alla observationer med de givna värdena på x Punktprediktion (point prediction): Värdet en individuell observation väntas ha på y med de givna värdena på x

14 Multipel linjär regression Intervallskattningar
Konfidensintervall (hör till punktskattning) Ett intervall för medelvärdet på y med de givna värdena på x Prediktionsintervall (hör till punktprediktion) Ett intervall för värdet på y för en individuell observation med de givna värdena på x ”Distance value” fås från datorutskrift Minitab: SE Fit =

15 Multipel linjär regression Exempel punktskattningar och intervallskattningar
Ett intervall för hus med area 3000 kvadratfot och 6 rum Minitab: Stat → Regression → Regression → Options

16 Multipel linjär regression Exempel punktskattningar och intervallskattningar
Predicted Values for New Observations New Obs Fit SE Fit % CI % PI (188076; ) (148229; )XX XX denotes a point that is an extreme outlier in the predictors.

17 Multipel linjär regression Exempel punktskattningar och intervallskattningar
Predicted Values for New Observations New Obs Fit SE Fit % CI % PI (188076; ) (148229; )XX XX denotes a point that is an extreme outlier in the predictors. Minitab indikerar att vår prediktion inte är helt pålitlig Vad kan detta bero på?

18 Multipel linjär regression Exempel punktskattningar och intervallskattningar

19 Multipel linjär regression Exempel
Pris Area Rum 117000 1008 6 108000 1036 126500 1092 133000 1100 116000 98000 1165 129000 1200 126000 1232 1248 110000 1289 117500 1300 121900 100000 1338 128500 1344 135000 1400 140000 1403 152000 1450 142500 1552 150000 1564 120500 1600 141900 1632 145900 1680 144900 1900 Kombination 3000 kvadratfot och 6 rum finns ej i datamaterialet Är vår modell giltig för den prediktion vi ville genomföra?

20 Multipel linjär regression Kvadratiska och kubiska termer
Det kan vara ett annat samband än linjärt mellan den beroende variabeln och en förklarande variabel Då kan man inkludera en kvadratisk eller kubisk term i regressionsmodellen Antal rum kan tyckas ha ett kvadratiskt samband med pris, en modell där pris förklaras av antal rum och antal rum i kvadrat har följande utseende: y=β0 + β3·x3 + β5·x32 + ε

21 Multipel linjär regression Exempel kvadratiska och kubiska termer

22 Multipel linjär regression Exempel kvadratiska och kubiska termer
Regression Analysis: Price versus Rooms; Rooms**2 The regression equation is Price = Rooms Rooms**2 Predictor Coef SE Coef T P Constant ,18 0,240 Rooms ,79 0,000 Rooms** ,4 698,8 -2,30 0,023 S = 33631,2 R-Sq = 35,6% R-Sq(adj) = 34,7% Ingen praktisk tolkning av b2 Kan även användas kubiska termer Originalvariabeln behålls alltid i modellen!

23 Multipel linjär regression Samspelstermer (interaktionstermer)
Det behöver inte vara ett kvadratiskt samband mellan den oberoende variabeln och den förklarande variabeln Det kan vara så att den förklarande variabeln samspelar med en annan förklarande variabel Relationen mellan den oberoende variabeln och en förklarande variabel kan vara beroende på värdet på en annan förklarande variabel Då bildar man en samspelsterm (interaktionsterm), vilket beskrivs i kommande exempel

24 Multipel linjär regression Exempel samspelstermer (interaktionstermer)
Vi bygger vidare på modellen där pris förklaras av area och antal rum Antal rum i kvadrat och interaktionstermen läggs till i modellen: y = β0 + β1·x1 + β3·x3 + β5·x32 + β6 ·x1·x3 + ε

25 Multipel linjär regression Exempel samspelstermer (interaktionstermer)
Regression Analysis: Price versus Area; Rooms; Rooms**2 The regression equation is Price = ,3 Area Rooms Rooms**2 Predictor Coef SE Coef T P Constant ,46 0,647 Area ,326 7,379 6,68 0,000 Rooms ,36 0,020 Rooms** ,1 613,6 -2,49 0,014 S = 29528,4 R-Sq = 50,7% R-Sq(adj) = 49,6% Alla variabler signifikanta när vi anpassar med den kvadratiska termen

26 Multipel linjär regression Exempel samspelstermer (interaktionstermer)
Regression Analysis: Price versus Area; Rooms; Rooms**2; Area*Rooms The regression equation is Price = Area Rooms Rooms**2 - 14,0 Area*Rooms Predictor Coef SE Coef T P Constant ,03 0,980 Area ,78 39,23 4,15 0,000 Rooms ,65 0,518 Rooms** ,56 0,122 Area*Rooms -14,002 4,759 -2,94 0,004 S = 28783,4 R-Sq = 53,4% R-Sq(adj) = 52,2% När vi anpassar en modell med både kvadrattermen och interaktionstermen blir bara interaktionstermen signifikant. Den har ”tagit över” kvadrattermens roll.

27 Multipel linjär regression Exempel samspelstermer (interaktionstermer)
Regression Analysis: Price versus Area; Rooms; Area*Rooms The regression equation is Price = Area Rooms - 7,32 Area*Rooms Predictor Coef SE Coef T P Constant ,98 0,330 Area 108,55 18,06 6,01 0,000 Rooms ,70 0,008 Area*Rooms -7, ,058 -3,56 0,001 S = 28922,9 R-Sq = 52,7% R-Sq(adj) = 51,7% Vid anpassning med interaktionstermen blir alla signifikanta och vi får en högre förklaringsgrad.

28 Multipel linjär regression Se upp med!
Det kan vara lockande att ha så många variabler som möjligt i modellen för att förklara variansen i datamaterialet bra Dock kan detta leda till överanpassning, det vill säga att modellen blir ”för bra” anpassad till datamaterialet och att prediktionerna då blir felaktiga Hitta en balans mellan antalet variabler och förklaringsgrad