Point Estimation Dan Hedlin Kapitel 7 Point Estimation Dan Hedlin

Vad är en punktskattning? CB: Defintion 7.1.1: A point estimator is any function of a sample Väldigt vid definition: syftet är att skatta något, t.ex. en parameter  (syftet med minimalt tillräcklig statistika är datareduktion) Teman i kap. 7: - konstruera punktestimatorer - utvärdera dessa

Konstruktion CB tar upp: Momentmetoden Maximum-likelihood EM-algoritmen Bayesianska metoder Jag fokuserar på de två första

Två skäl till att lära sig konstruktion I praktiskt arbete använder man för det mesta ”färdiglagade” estimatorer, men… Ibland finns det ingen färdig, eller så hittar man ingen i litteraturen Även om man hittar någon, t.ex. på internet, är det bra att kunna konstruera själv för att kolla

Momentmetoden Enkel, ger nästan alltid hyfsat bra resultat, kan rekommenderas för praktiskt arbete Enligt stora talens lag osv (om det behövs)

Med antagande om modellfamilj ”vet” vi vad högerleden är Kan använda t.ex. första och tredje momentet istället för första och andra momentet Istället för det ocentrerade andra momentet kan man använda

Ex: gammafördelning Med momentmetoden sätter vi (lös ut)

Maximum likelihood Svarar på frågan: vilket eller vilka parametervärden maximerar likelihooden Ger ofta den ”naturliga” skattningen, t.ex. andelen ”lyckade” försök som skattning av p om man drar ur binomialfdl

ML-skattningars egenskaper Inte alltid möjligt att få ut ett slutet uttryck Besvär vid flackt optimum Existerar inte alltid Ofta krångligare härledning än moment-metoden Invariant: om är en MLE av , då är en MLE av , för vilken funktion som helst

Om vi uppfattar likelihoodfunktionen som en statistika är den minimalt tillräcklig En MLE uppfyller alltid tillräcklighets- och likelihoodprincipen Goda asymptotiska egenskaper (kap. 10)

Hur utvärdera en estimator? Liten eller ingen bias Liten varians Liten MSE Robust mot avvikelser i data Robust mot avvikelser i modell Liten ”loss” Andra egenskaper?

Finns ingen, enda allmänt accepterad egenskap I så fall skulle det vara minsta MSE Ytterligare en egenskap: uppfyller Cramér-Raos olikhet Det finns en gräns för hur liten varians som en estimator kan ha i vissa typer av problem (måste kunna byta ordning på integrering och derivering)

Standardtillämpningar på ML Finn stationära punkter genom att sätta derivatan till 0. Undersök dessa med t.ex. andra-derivatan. Kolla även randpunkter. Knep: om täthet har formen exp(parameter), ta log först Exempel 7.2.5-7.2.7; Ex 7.2.11-7.2.12 Annat, ”inkrementresonemang” Ex 7.2.9

Enemy Tank Problem Approximera med kontinuerlig likformig fördelning på (1, ) Minimalt tillräcklig statistika max(xi) Vi vill skatta  Momentmetoden

Sätt (en parameter: behövs bara en ekvation) Approximera med kontinuerlig likformig fördelning på (a, b) (där vi sätter a =1)

Alternativ skattning Maximum likelihood ekvivalent

stickprov Vilket val av , som fkt av stickprov, ger max(L)? T.ex. om inte alla xi lika, dvs nästan alltid; därför maximerar likelihooden

Tre alternativa estimatorer inte minimalt tillräcklig (ej 1-1-funktion av Utvärdera estimatorerna Bias? (teorem 5.2.6) (exempel 5.4.5)

är alltså ej väntevärdesriktig men är det Varians Kan visa att även är av ordning 1/n Men Alltså av ordning

Cramér Raos olikhet Den minsta variansen för en estimator W(X): Villkor: måste kunna kasta om integral och derivata. Kan inte göra detta om supporten beror av parametern (se Leibnitz regel)

Fisherinformationen Ett tal (eller symbol som representerar ett tal); ju större desto mer info

Om alla xi oberoende är informationen additiv, dvs infon för stickprovet är summan av delarna Om ej oberoende är informationen mindre

”attainment” Antag att a() är någon funktion Då nås nedre gränsen omm Betyder att skattningen och HL, ”score”, ska samvariera starkt Felet i skattningen

Mer om Cramér Raos olikhet Den minsta variansen för en estimator W(X): där är the score dvs

Detta är alltid sant för stokastiska variabler att CR:s olikhet bidrar med uttryck för högerledet i olikheten Av beviset framgår att E(S(X)) = 0 Fisherinformationen är Var(S(X)) , dvs…

Fisherinformationen

”attainment” Antag att a() är någon funktion Då nås nedre gränsen omm Kan visa att det gäller för tillräcklig statistika i en exponentialfamilj Korrelationen ska vara hög

Ytterligare teorem: Det finns bara en bästa vvr estimator av Anta att T(X) är en fullständig (complete) och tillräcklig statistika m.a.p.  är en estimator som är baserad enbart på T(X). Då är den unika, bästa (minsta varians) estimatorn som är vvr för

Rao-Blackwells teorem Villkor 1: W(X) vvr för Villkor 2: T(X) tillräcklig för  Konstruera en ny estimator genom att ta Då är den nya estimatorn vvr och ”likformigt bättre” än W(X) , dvs mindre varians, alltid

Om kriteriet är minsta varians, kan (bör) vi alltså begränsa valet av estimator till dem som bygger på en tillräcklig statistika Ännu bättre: tillräcklig och fullständig