Point Estimation Dan Hedlin

En presentation över ämnet: "Point Estimation Dan Hedlin"— Presentationens avskrift:

1 Point Estimation Dan Hedlin
Kapitel 7 Point Estimation Dan Hedlin

2 Vad är en punktskattning?
CB: Defintion 7.1.1: A point estimator is any function of a sample Väldigt vid definition: syftet är att skatta något, t.ex. en parameter  (syftet med minimalt tillräcklig statistika är datareduktion) Teman i kap. 7: - konstruera punktestimatorer - utvärdera dessa

3 Konstruktion CB tar upp: Momentmetoden Maximum-likelihood
EM-algoritmen Bayesianska metoder Jag fokuserar på de två första

4 Två skäl till att lära sig konstruktion
I praktiskt arbete använder man för det mesta ”färdiglagade” estimatorer, men… Ibland finns det ingen färdig, eller så hittar man ingen i litteraturen Även om man hittar någon, t.ex. på internet, är det bra att kunna konstruera själv för att kolla

5 Momentmetoden Enkel, ger nästan alltid hyfsat bra resultat, kan rekommenderas för praktiskt arbete Enligt stora talens lag osv (om det behövs)

6 Med antagande om modellfamilj ”vet” vi vad högerleden är
Kan använda t.ex. första och tredje momentet istället för första och andra momentet Istället för det ocentrerade andra momentet kan man använda

7 Ex: gammafördelning Med momentmetoden sätter vi (lös ut)

8 Maximum likelihood Svarar på frågan: vilket eller vilka parametervärden maximerar likelihooden Ger ofta den ”naturliga” skattningen, t.ex. andelen ”lyckade” försök som skattning av p om man drar ur binomialfdl

9 ML-skattningars egenskaper
Inte alltid möjligt att få ut ett slutet uttryck Besvär vid flackt optimum Existerar inte alltid Ofta krångligare härledning än moment-metoden Invariant: om är en MLE av , då är en MLE av , för vilken funktion som helst

10 Om vi uppfattar likelihoodfunktionen som en statistika är den minimalt tillräcklig
En MLE uppfyller alltid tillräcklighets- och likelihoodprincipen Goda asymptotiska egenskaper (kap. 10)

11 Hur utvärdera en estimator?
Liten eller ingen bias Liten varians Liten MSE Robust mot avvikelser i data Robust mot avvikelser i modell Liten ”loss” Andra egenskaper?

12 Finns ingen, enda allmänt accepterad egenskap
I så fall skulle det vara minsta MSE Ytterligare en egenskap: uppfyller Cramér-Raos olikhet Det finns en gräns för hur liten varians som en estimator kan ha i vissa typer av problem (måste kunna byta ordning på integrering och derivering)

13 Standardtillämpningar på ML
Finn stationära punkter genom att sätta derivatan till 0. Undersök dessa med t.ex. andra-derivatan. Kolla även randpunkter. Knep: om täthet har formen exp(parameter), ta log först Exempel ; Ex Annat, ”inkrementresonemang” Ex 7.2.9

14 Enemy Tank Problem Approximera med kontinuerlig likformig fördelning på (1, ) Minimalt tillräcklig statistika max(xi) Vi vill skatta  Momentmetoden

15 Sätt (en parameter: behövs bara en ekvation)
Approximera med kontinuerlig likformig fördelning på (a, b) (där vi sätter a =1)

16 Alternativ skattning Maximum likelihood ekvivalent

17 stickprov Vilket val av , som fkt av stickprov, ger max(L)? T.ex om inte alla xi lika, dvs nästan alltid; därför maximerar likelihooden

18 Tre alternativa estimatorer
inte minimalt tillräcklig (ej 1-1-funktion av Utvärdera estimatorerna Bias? (teorem 5.2.6) (exempel 5.4.5)

19 är alltså ej väntevärdesriktig men är det
Varians Kan visa att även är av ordning 1/n Men Alltså av ordning

20 Cramér Raos olikhet Den minsta variansen för en estimator W(X):
Villkor: måste kunna kasta om integral och derivata. Kan inte göra detta om supporten beror av parametern (se Leibnitz regel)

21 Fisherinformationen Ett tal (eller symbol som representerar ett tal); ju större desto mer info

22 Om alla xi oberoende är informationen additiv, dvs infon för stickprovet är summan av delarna
Om ej oberoende är informationen mindre

23 ”attainment” Antag att a() är någon funktion Då nås nedre gränsen omm
Betyder att skattningen och HL, ”score”, ska samvariera starkt Felet i skattningen

24 Mer om Cramér Raos olikhet
Den minsta variansen för en estimator W(X): där är the score dvs

25 Detta är alltid sant för stokastiska variabler att
CR:s olikhet bidrar med uttryck för högerledet i olikheten Av beviset framgår att E(S(X)) = 0 Fisherinformationen är Var(S(X)) , dvs…

26 Fisherinformationen

27 ”attainment” Antag att a() är någon funktion
Då nås nedre gränsen omm Kan visa att det gäller för tillräcklig statistika i en exponentialfamilj Korrelationen ska vara hög

28 Ytterligare teorem: Det finns bara en bästa vvr estimator av Anta att T(X) är en fullständig (complete) och tillräcklig statistika m.a.p.  är en estimator som är baserad enbart på T(X). Då är den unika, bästa (minsta varians) estimatorn som är vvr för

29 Rao-Blackwells teorem
Villkor 1: W(X) vvr för Villkor 2: T(X) tillräcklig för  Konstruera en ny estimator genom att ta Då är den nya estimatorn vvr och ”likformigt bättre” än W(X) , dvs mindre varians, alltid

30 Om kriteriet är minsta varians, kan (bör) vi alltså begränsa valet av estimator till dem som bygger på en tillräcklig statistika Ännu bättre: tillräcklig och fullständig