Sambandsmodeller, 10 p = 15 hp Välkomna till kursen Sambandsmodeller, 10 p = 15 hp Kursansvarig är Olle Eriksson Första läsperioden har Lotta Hallberg Regressionsanalys lohal@ida.liu.se Den andra läsperioden har Olle Eriksson Variansanalys oleri@ida.liu.se

Examination En skriftlig tentamen 7.5hp 16 inlämningsuppgifter (tillfällen) 7.5hp Kurslitteratur Applied Linear Statistical Models av Kutner,Nachtsheim, Neter, Li ISBN: 007-112221-4 McGraw-Hill

Enkel linjär regression: hyran kan förklaras av lägenhetsstorlek

Kvadratisk regression

Varför behövs regressionsanalys? Värdet på responsvariabeln (t.ex. hyra) varierar med värdet på den förklarande variabeln (t.ex storlek på lägenheten): Vi kan använda informationen om lägenhetsstorleken för att göra en bättre skattning/prediktion av den förväntade hyran eller av hyran för en speciell lägenhet

Hur mycket betalar man (i genomsnitt) i hyra om man har en lägenhet på 50 kvadratmeter? ca 3747.6 SEK

Varför behövs regressionsanalys? Värdet på responsvariabeln (t.ex. hyra) varierar med värdet på den förklarande variabeln (t.ex. storlek på lägenheten): Vi kan använda informationen om lägenhetsstorleken för att göra en bättre skattning/prediktion av den förväntade hyran eller av hyran för en speciell lägenhet Vi kan beskriva datamaterialet och beskriva och dra slutsatser om samband mellan variabler. Därmed kan vi (i vissa fall) öka förståelsen av hur världen omkring oss ser ut.

För varje ytterligare kvadratmeter i lägenhetsyta får man betala ca 60 kronor i månaden mer. 10 kvadratmeter mer = 605 SEK

Y kallas responsvariabel x är förklarande variabel Vi vill undersöka om x förklarar y, inte tvärtom

Enkel linjär regression: Till datamaterialet kan vi anpassa en rät linje: som är en skattning av det verkliga sambandet (det som vi skulle kunna observera om vi visste hyran och ytan på alla lägenheter som finns): E (Y ) = μy|x = 0 + 1· x eller Y = μy|x + e = 0 + 1· x + e

E (Y ) = μy|x = 0 + 1· x eller Y = μy|x + e = 0 + 1· x + e μy|x... det förväntade värdet på y om värdet på den förklarande variabeln är givet. 0... interceptet (intercept). Det förväntade värdet på Y om x=0. 1... lutningen (slope). Anger förändringen i Y om x ökar med en enhet. e ... felterm (error term). Den del av variationen i datamaterialet som inte går att beskriva med regressionslinjen.

Hur anpassar man en rät linje till ett datamaterial Hur anpassar man en rät linje till ett datamaterial? Man väljer linjen som har det minsta avståndet till alla observationer.

Detta görs genom ‘Minsta-kvadrat-metoden’: Summan av alla kvadrerade avstånd ska bli så liten som möjligt.

Skattning av parametrarna med Minsta kvadratmetoden Y- 0 - 1· x = e Välj så att minimeras. Härledning på tavlan

Minsta-kvadrat-skattningen för enkel linjär regression

Det går enklare att beräkna b0 och b1 om vi skriver om formlerna för SSxx och SSxy:

Σ 1294 93469 6271637 88196 Kv-meter Hyra xi*yi xi*xi 61 4490 61*4490= 273890 3721 50 3211 160550 2500 32 3265 104480 1024 74 4750 351500 5476 61 4063 247843 3721 70 5471 382870 4900 52 4120 214240 2704 64 5432 347648 4096 65 5020 326300 4225 38 3512 133456 1444 37 2456 90872 1369 37 2560 94720 1369 50 3179 158950 2500 117 7110 831870 13689 86 7019 603634 7396 50 3199 159950 2500 73 4953 361569 5329 77 5623 432971 5929 52 3919 203788 2704 56 3898 218288 3136 92 6219 572148 8464 Σ 1294 93469 6271637 88196 3721 2500 1024 5476 4900 2704 4096 4225 1444 1369 13689 7396 5329 5929 3136 8464

Då får vi:

Alltså: Skattningen av regressionslinjen är För varje ytterligare kvadratmeter i lägenhetsyta kommer man i genomsnitt betala 60.53 kronor mer i hyra. För en lägenhet med 0 kvadratmeter kommer man att betala 720.92 kronor i hyra (??!?)

Statistisk slutledning (Inference) i regressionsmodellen Signifikanstest för parametrarna b0 och b1. t.ex. ökar hyran verkligen med storleken på lägenheten, eller skulle man kunna sätta b1=0? Konfidensintervall för parametrarna b0 och b1. Konfidensintervall för väntevärdet av y (givet x). Prediktionsintervall för en individuell prognos av y (givet x). För att kunna göra signifikanstest och för att kunna beräkna konfidensintervall måste vi göra vissa antaganden.

Antagande i regressionsmodellen Y = 0 + 1· x + e Feltermen e har väntevärde 0 och varians s2. (Variansen är konstant över hela datamaterialet) Feltermen e är normalfördelad. Feltermen e är statistisk oberoende. Varje värde för e är oberoende av alla andra värden av e. Hur man undersöker om feltermen verkligen uppfyller de här kraven kommer vi att se senare (residualanalys). Feltermens varians s2 måste skattas.

Hur bestämmer man , skattningen för , variansen av feltermen? I ett vanligt stickprov bestäms s som stickprovsvariansen: I regressionssammanhang gör vi på ett liknande sätt, men vi måste ta hänsyn till den del av variationen i datamaterialet som kan förklaras av x. ‘Residual’ = e

Residualerna Kv-meter Hyra b0+b1*xi yi-(b0+b1xi) 61 4490 720.92+60.53*61= 4413.25 76.75 50 3211 3747.42 -536.42 32 3265 2657.88 607.12 74 4750 5200.14 -450.14 61 4063 4413.25 -350.25 70 5471 4958.02 512.98 52 4120 3868.48 251.52 64 5432 4594.84 837.16 65 5020 4655.37 364.63 38 3512 3021.06 490.94 37 2456 2960.53 -504.53 37 2560 2960.53 -400.53 50 3179 3747.42 -568.42 117 7110 7802.93 -692.42 86 7019 5926.5 1092.5 50 3199 3747.42 -548.42 73 4953 5139.61 -186.61 77 5623 5381.73 241.27 52 3919 3868.48 50.52 56 3898 4110.6 -212.6 92 6219 6289.68 -70.68 Residualerna

Skattning av se betecknas ofta bara med s.

Signifikanstest för parametrarna b0 och b1 Nollhypotesen: H0: b1=0 Mothypotesen: H1: b1≠0 t-test: Skattning Nollhypotes Standardavvikelse för skattningen av b1 (standard error) t-fördelad med n-2 frihetsgrader

Hur beräknar man , skattningen för ? i vårt fall:

Signifikanstest för b1 : Jämför med t-fördelningen med 19 frihetsgrader. → högt signifikant RITA PÅ TAVLAN Slutsats: Lutningen i regressionsmodellen är signifikant skild från noll. Ytan på en lägenhet har betydelse för hur hög hyran är. Ju större lägenhet desto högre hyra (positivt samband). Signifikanstest för interceptet se sidan 48 i boken.

Konfidensintervall för lutningen b1: Med hjälp av skattningarna vi har tagit fram, kan vi även beräkna ett konfidensintervall för b1. Med 95% säkerhet ligger b1 i intervallet 48.58 – 72.48.

Ett datorprogram, som MINITAB eller SAS kan beräkna en regressionsanalys åt oss. Där får vi ut t.ex.: Regressionlinjen Parameterskattningar b0 och b1 Signifikanstest för b0 och b1 Skattningen s (spridningen i residualerna)

Regression Analysis: Hyra versus Kv-meter The regression equation is Hyra = 721 + 60.5 Kv-meter Predictor Coef SE Coef T P Constant 720.9 370.2 1.95 0.066 Kv-meter 60.533 5.713 10.60 0.000 S = 525.5 R-Sq = 85.5% R-Sq(adj) = 84.8% Analysis of Variance Source DF SS MS F P Regression 1 31002923 31002923 112.26 0.000 Residual Error 19 5247087 276162 Total 20 36250010 Regressionslinjen t-tester och deras p-värden Parameterskattningar och deras standardavvikelser Residualspridningen Konfidensintervall för parametrarna b0 och b1 måste man dock beräkna själv.

Punktskattningar och punktprognoser För ett givet värde på x (säg xh) kan man skatta det genomsnittliga värdet på Y dvs E[Y] (Vad är hyran för en lägenhet på 60 kvadratmeter i genomsnitt?) prediktera värdet på Y för en ny observation (Hur mycket kommer just den här lägenheten på 60 kvadratmeter att kosta i hyra?) Både punktskattningen och punktprognosen beräknas som

Punktskattningar och punktprognoser är naturligtvis osäkra Punktskattningar och punktprognoser är naturligtvis osäkra. Därför ska man helst ange dem tillsammans med ett intervall: Punktskattningen med ett konfidensintervall och punktprognosen med ett prediktionsintervall där

För ett xh som ligger nära får vi ett litet värde på och därför även ett smalare konfidens- eller predikitonsintervall.

Vad är hyran för en lägenhet på 60 kvadratmeter i genomsnitt?

Vad är hyran för en lägenhet på 60 kvadratmeter i genomsnitt? Med 95% säkerhet kommer hyran att ligga mellan 4112 och 4593.3 kronor i månaden.

Hur mycket kommer jag att betala om jag hyr just den här lägenheten på 60 kvadratmeter? Med 95% säkerhet kommer hyran för just den här typen av lägenhet ligga mellan 3226.8 och 5478.63 kronor i månaden.

Även punktskattningar och punktprognoser kan beräknas med hjälp av MINITAB The regression equation is Hyra = 721 + 60.5 Kv-meter Predictor Coef SE Coef T P Constant 720.9 370.2 1.95 0.066 Kv-meter 60.533 5.713 10.60 0.000 S = 525.5 R-Sq = 85.5% R-Sq(adj) = 84.8% .... Predicted Values for New Observations New Obs Fit SE Fit 95.0% CI 95.0% PI 1 4353 115 ( 4112, 4594) ( 3227, 5479) Values of Predictors for New Observations New Obs Kv-meter 1 60.0