Hej hypotestest!

Bakgrund  Signifikansanalys  Signifikansprövning  Signifikanstest  Hypotesprövning  Hypotestest Kärt barn har många namn Inblandade: R. A. Fisher, J. Neyman, K. Pearson, E. Pearson Tidigt 1900-tal.

Metodik, NHST (Null Hypothesis Significance Testing)‏  Formulera en nollhypotes H 0.  Ställ denna mot en alternativ hypotes som skiljer sig från normalfallet (det finns effekt).  Beräkna sannolikheten för mätningar/data givet att H 0 är sann (p-värdet).  Grundat på den här sannolikheten så kan vi välja att förkasta H 0 eller att misslyckas med att förkasta H 0. Dominerar psykologiska studier

Beslutsteori H 0 falskH 0 sannBeslut Typ IIFörkasta inte H 0 Typ IFörkasta H 0 p=0.05, 0.001

Så vad är problemet? Vi som statistiker vet att det vi har är en metod för att upptäcka skillnader. Vi är också ofta medvetna om att vi inte bevisar hypoteser utan att vi söker efter bevis för att motbevisa (förkasta) dem. Att förkasta nollhypotesen är inte detsamma som att acceptera den motstående hypotesen.

Vad andra (psykologer, läkare mm) tror att de får:  Sannolikheten att nollhypotesen är sann  Sannolikheten att nollhypotesen är falsk  Sannolikheten för att återupprepa resultaten vid ett nytt experiment  Sannolikheten för att observera data (eller mer extrem) då nollhypotesen är sann

Signifikanstest förknippas ofta med en hel del besvärliga beräkningar och benägenheten att gömma sig bakom siffror. Att prata om detta är egentligen något som alla vet och känner till men som ändå ingen talar om.

The Earth is round (J. Cohen 1994). NHST som mekanisk uppdelning kring en helig 0.05-nivå kvarstår trots dess ifrågasättande. NHST har lett till att psykologi som forskningsämne inte bara har hämmats utan även gått bakåt. Finns dock plats för NHST vid väl underbyggda hypoteser. Oftast inte i psykologi.

Den vedertagna illusionen ”Det regnar alltid i Göteborg”

”Idag regnar det inte” ”Alltså befinner vi oss inte i Göteborg” Fullkomligt logisk, eller hur?

Om H 0 är sann så skulle vi TROLIGTVIS inte få det här resultatet. Vi fick det här resultatet. Alltså är H 0 troligtvis inte sann och därför ogiltig. Teorier befästs genom att förkasta nollhypotesen utan att göra powerberäkningar.

”Varför bry sig om sannolikheten att få data som leder till att förkasta nollhypotesen då den är falsk när analysen ger den faktiska sannolikheten att den är falsk?”

Sannolikheten för H 0 H 0 : Det finns absolut ingen skillnad. Nollhypotesen är alltid falsk! Vid nog stort stickprov kommer vi alltid att förkasta H 0 ”The significance of significance is significant”

0.05

Lösning?  Grafiska metoder  Standardisering av mätmetoder  Skatta effektstorlekar via konfidensintervall  Upprepa försök  Informera om tillgängliga statistiska metoder

Har vi någon del i detta?

Exempel på att det är väldigt viktigt för oss att lägga oss i: Intelligent Design and Mathematical Statistics: A troubled alliance Peter Olofsson På grund av missuppfattningar och felaktig användning av statistiska metoder kommer vilseledande hypoteser att antas. Vilket i sin tur kan användas för att kontrollera människors tänkande och kunskap.