Presentation laddar. Vänta.

Presentation laddar. Vänta.

1 Kapitel 7 Point Estimation Dan Hedlin. 2 Vad är en punktskattning? •CB: Defintion 7.1.1: A point estimator is any function of a sample •Väldigt vid.

Liknande presentationer


En presentation över ämnet: "1 Kapitel 7 Point Estimation Dan Hedlin. 2 Vad är en punktskattning? •CB: Defintion 7.1.1: A point estimator is any function of a sample •Väldigt vid."— Presentationens avskrift:

1 1 Kapitel 7 Point Estimation Dan Hedlin

2 2 Vad är en punktskattning? •CB: Defintion 7.1.1: A point estimator is any function of a sample •Väldigt vid definition: syftet är att skatta något, t.ex. en parameter  (syftet med minimalt tillräcklig statistika är datareduktion) •Teman i kap. 7: - konstruera punktestimatorer - utvärdera dessa

3 3 Konstruktion CB tar upp: •Momentmetoden •Maximum-likelihood •EM-algoritmen •Bayesianska metoder •Jag fokuserar på de två första

4 4 Två skäl till att lära sig konstruktion •I praktiskt arbete använder man för det mesta ”färdiglagade” estimatorer, men… 1.Ibland finns det ingen färdig, eller så hittar man ingen i litteraturen 2.Även om man hittar någon, t.ex. på internet, är det bra att kunna konstruera själv för att kolla

5 5 Momentmetoden •Enkel, ger nästan alltid hyfsat bra resultat, kan rekommenderas för praktiskt arbete •Enligt stora talens lag osv (om det behövs)

6 6 •Med antagande om modellfamilj ”vet” vi vad högerleden är •Kan använda t.ex. första och tredje momentet istället för första och andra momentet •Istället för det ocentrerade andra momentet kan man använda

7 7 Ex: gammafördelning •Med momentmetoden sätter vi (lös ut)

8 8 Maximum likelihood •Svarar på frågan: vilket eller vilka parametervärden maximerar likelihooden •Ger ofta den ”naturliga” skattningen, t.ex. andelen ”lyckade” försök som skattning av p om man drar ur binomialfdl

9 9 ML-skattningars egenskaper •Inte alltid möjligt att få ut ett slutet uttryck •Besvär vid flackt optimum •Existerar inte alltid •Ofta krångligare härledning än moment-metoden •Invariant: om är en MLE av, då är en MLE av, för vilken funktion som helst

10 10 •Om vi uppfattar likelihoodfunktionen som en statistika är den minimalt tillräcklig •En MLE uppfyller alltid tillräcklighets- och likelihoodprincipen •Goda asymptotiska egenskaper (kap. 10)

11 11 Hur utvärdera en estimator? •Liten eller ingen bias •Liten varians •Liten MSE •Robust mot avvikelser i data •Robust mot avvikelser i modell •Liten ”loss” •Andra egenskaper?

12 12 •Finns ingen, enda allmänt accepterad egenskap •I så fall skulle det vara minsta MSE •Ytterligare en egenskap: uppfyller Cramér-Raos olikhet •Det finns en gräns för hur liten varians som en estimator kan ha i vissa typer av problem (måste kunna byta ordning på integrering och derivering)

13 13 Standardtillämpningar på ML •Finn stationära punkter genom att sätta derivatan till 0. Undersök dessa med t.ex. andra-derivatan. Kolla även randpunkter. •Knep: om täthet har formen exp(parameter), ta log först •Exempel ; Ex •Annat, ”inkrementresonemang” Ex 7.2.9

14 14 Enemy Tank Problem •Approximera med kontinuerlig likformig fördelning på (1,  ) •Minimalt tillräcklig statistika max(x i ) •Vi vill skatta  •Momentmetoden

15 15 •Sätt (en parameter: behövs bara en ekvation) •Approximera med kontinuerlig likformig fördelning på (a, b) (där vi sätter a =1)

16 16 •Alternativ skattning •Maximum likelihood •ekvivalent

17 17 •stickprov •Vilket val av , som fkt av stickprov, ger max(L)? •T.ex. om inte alla x i lika, dvs nästan alltid; därför • maximerar likelihooden

18 18 •Tre alternativa estimatorer • inte minimalt tillräcklig (ej 1-1-funktion av •Utvärdera estimatorerna •Bias? (teorem 5.2.6) (exempel 5.4.5)

19 19 • är alltså ej väntevärdesriktig men är det •Varians •Kan visa att även är av ordning 1/n •Men •Alltså av ordning

20 20 Cramér Raos olikhet •Den minsta variansen för en estimator W(X): •Villkor: måste kunna kasta om integral och derivata. Kan inte göra detta om supporten beror av parametern (se Leibnitz regel)

21 21 Fisherinformationen •Ett tal (eller symbol som representerar ett tal); ju större desto mer info

22 22 •Om alla x i oberoende är informationen additiv, dvs infon för stickprovet är summan av delarna •Om ej oberoende är informationen mindre

23 23 ”attainment” •Antag att •a(  ) är någon funktion •Då nås nedre gränsen omm •Betyder att skattningen och HL, ”score”, ska samvariera starkt Felet i skattningen

24 24 Mer om Cramér Raos olikhet •Den minsta variansen för en estimator W(X): •där är the score •dvs

25 25 •Detta är alltid sant för stokastiska variabler att •CR:s olikhet bidrar med uttryck för högerledet i olikheten •Av beviset framgår att E(S(X)) = 0 •Fisherinformationen är Var(S(X)), dvs…

26 26 Fisherinformationen

27 27 ”attainment” •Antag att •a(  ) är någon funktion •Då nås nedre gränsen omm Kan visa att det gäller för tillräcklig statistika i en exponentialfamilj • Korrelationen ska vara hög

28 28 •Ytterligare teorem: 1.Det finns bara en bästa vvr estimator av 2.Anta att T(X) är en fullständig (complete) och tillräcklig statistika m.a.p.  är en estimator som är baserad enbart på T(X). Då är den unika, bästa (minsta varians) estimatorn som är vvr för

29 29 Rao-Blackwells teorem •Villkor 1: W(X) vvr för •Villkor 2: T(X) tillräcklig för  •Konstruera en ny estimator genom att ta •Då är den nya estimatorn vvr och ”likformigt bättre” än W(X), dvs mindre varians, alltid

30 30 •Om kriteriet är minsta varians, kan (bör) vi alltså begränsa valet av estimator till dem som bygger på en tillräcklig statistika •Ännu bättre: tillräcklig och fullständig


Ladda ner ppt "1 Kapitel 7 Point Estimation Dan Hedlin. 2 Vad är en punktskattning? •CB: Defintion 7.1.1: A point estimator is any function of a sample •Väldigt vid."

Liknande presentationer


Google-annonser