2. Randomiserade experiment Tillämpad ekonometri (5 sp), våren 2015, Jonas Lagerström 2. Randomiserade experiment Korrelation vs kausala samband (what if?) Potentiella utfall Selektionsproblemet Randomiserade experiment Hot mot intern och extern validitet

Korrelation vs kausalitet What if? Vad händer med Y om vi ändrar X? Om jag ändrar X så händer troligen följande med Y! (What if!?) Eller är det svaga elever som sätts i små klasser? Arbetslösa som deltar i arbetsmarknadspolitiska program (4% av BNP) får inte större chanser till jobb än icke-deltagare (programmet hjälper inte) – eller är det något speciellt hos de arbetslösa som hamnar i ett program som i sig kan förklara deras små jobbchanser? Coleman (1966) : Samma provresultat i stora skolklasser som i små. Vad som händer i skolan saknar därför betydelse. Det är vem du är som avgör.

Potentiella utfall och missing data Vi ser bara utfallet på stigen som du faktiskt går Härled modellen formellt. Kan omöjligen identifiera ITE och därigenom ATE. Måste därför hitta sätt att estimera den data som vi inte har tillgänglig. Men hur?! Kontrafaktiska tillståndet: Hur skulle utfallet ha blivit om aktören skulle ha gått den andra vägen? Men ser bara vägen man valde? Varför svårt att gissa kontrafaktiska? Jo, för att aktörer bryr sig om vem som får behandling eller inte och styr valet; det är något speciellt med behandlingsgruppen jämför med kontrollen och dessa skillnader kan i sig påverka utfallet.

Kontrafaktiska tillståndet Vad skulle ha blivit om du valt den andra vägen? Vi ser endast det faktiska utfallet. Hur kan vi få fram det kontrafaktiska tillståndet? Backa bandet för varje individ, rensa minnet fullständigt och gå sedan andra vägen och se vad utfallet blir där. Då kan vi få fram ITE (individual treatment effect) genom att jämföra utfallet då du valde vänster med utfallet då du valde höger. Kan ta snittet för ITE av hela samplet och då få ett fram ATE som är en gissning på behandlingens kausala effekt i populationen. Dock omöjligt med tidsresor och minnesrensning i praktiken. Missing data problem. Att estimera kausala effekter handlar om att hitta smarta sätt att gissa hur behandlingsgruppen hade klarat sig utan behandling.

Selektionproblemet Varför gick student A åt vänster och student B höger? Rita in diagram som sociologerna. Tänk alltid: Finns det skillnader mellan grupperna och kan dessa skillnader i sig vara anledningen att provresultatet är olika mellan gruppern?

Att utforma ditt eget experiment Ger mentorer bättre provresultat? Effekten av mentorer på provresultat Ger mentorer bättre provresultat? Data från grundkursen vid Åbo Akademi På grundkursen finns fem mentorer som hjälper studenterna under kursen, men leder dessa till högre resultat på tenten?

Att utforma ditt eget experiment Ger mentorer bättre provresultat? Effekten av mentorer på provresultat Ger mentorer bättre provresultat? Data från grundkursen vid Åbo Akademi På grundkursen finns fem mentorer som hjälper studenterna under kursen, men leder dessa till högre resultat på tenten? Tänkbara invändningar? The age of regression vs tona ner dina resultat

Upplägg vid forskning Tips inför din avhandling Vad är gåtan? Var tydlig! Teorin guidar: Vad bör hända och varför? Definiera populationen: Vem kan du uttala dig om? Sampla slumpmässigt från populationen. Mät kausala sambandet mellan utfallsvariabeln och frågeprediktorn i stickprovet (intern validitet). Vad kan du säga om sambandet i populationen (extern validitet)?

Observationsdata vs experimentdata Kan aktörerna själva påverka vägvalet?

Högre vitsord om man läser boken? Vad skulle ha blivit om du valt den andra vägen? Studenter väljer själva huruvida dom läser kurslitteraturen; valet är endogent. Selektionen: Finns det skillnader mellan dem som läser och inte läser kursboken som i sig kan förklara varför de som läser (kanske) får högre vitsord? Randomiserade experiment säkerställer att grupperna är ”equal in expections”. Vad är vår population? Vad är vår behandling? Vårt experiment mäter den totala effekten, inte ”få en kursbok” givet allt annat lika. Lotta ut 10 ex av kursboken Intention to treat vs läsa kursboken Koppla till behandlingen smittar, attrition, Hawthorne etc Ger ”equal in expections”, alltså om vi gör om randomiseringen en miljard gånger så kommer behandlingsgruppen (treatment group) i snitt att vara lika gammal, ha lika stor andel kvinnor, ha lika hög IQ och motivation som kontrollgruppen (control group).

Randomiserade experiment Låt slumpen avgöra vägvalet! Liksom i all bra forskning: 1) Vad är gåtan?; 2) Teoretisk bakgrund; 3) Definiera populationen; 4) Sampla slumpmässigt från populationen; 5) Är utfallet i snitt olika mellan grupperna?; 6) Känslighetsanalys.

Observationsdata vs experimentdata Kan aktörerna själva påverka vägvalet? I en observationsstudie bestäms vägvalet av aktörer innanför modellen (endogent). Rensa bort effekten av andra tänkbara skillnader på utfallet (”the age of regression”, ”better data helps a lot”) eller tona ner tolkningen. Snabbt och billigt men stor risk för felaktiga slutsatser. I en experimentell studie bestäms vägvalet av aktörer eller händelser utanför modellen (exogent). Jämför skillnaden i utfall rakt av ty alla andra skillnader är lika i förväntan (equal in expectation). Tar tid, är dyrt och oetiskt, men analysen enkel och trovärdig. Förstå selektionen! Deskriptiv vs kausal analys: Utfallsvariabel, question predictor, kontrollvariabler. Hur bestäms värdet på din question predictor? Om av aktörerna inne i modellen (endogent) så svårt mäta kausal effekt, om utomstående så (exogent) möjligt.

Lär man sig mer i liten klass? STAR-experimentet Elever i små och stora klasser får i genomsnitt samma testresultat. Populärt förslag: Spara pengar på att slå ihop klasser! Men selektion av svaga elever till små klasser? STAR-experimentet: Delar slumpmässigt upp studenter i tre grupper: små klasser, vanliga klasser, vanliga klasser med hjälplärare. Student Teacher Achievement Ratio. STAR. I varje skola slumpas elever och lärare till liten eller stor klass. Populationen: 79 skolor i Tennesse år 1985 som anmält intresse plus levt upp till vissa kriterier. Detta är alltså populationen som du kan säga nånting om (extern validitet). Hot mot intern valitetet (=alternativa förklaringar). Vissa bytte klass över tiden för föräldrar tjatade.

Lär man sig mer i liten klass? STAR-experimentet Slutsatser: Stora positiva och långsiktiga effekter av att gå i en liten klass i (tidig) grundskola (i Tennesse år 1985). Kontrollera även för X. Förstår du varför?

Hjälplärare och privatskola Hur påverkas barnens provresultat? Ex: Bland 10000 som anmält intresse slumpar man ut erbjudande om 1400 dollars stipendium till privatskola; ”rättvist”; kan mäta kausala effekten av att erbjudas stipendium (liknelse; alla som får boken läser den kanske inte, vissa som inte får boken läser den). Hjälplärare ger bättre provresultat för 10-åringar i indiska skolor för fattiga Att erbjudas ett stipendium till privata grundskolor i New York ger bättre provresultat för elever vars föräldrar sökt om att få stipendium.

Vad kan gå fel? Behandlingen smittar Kontrollgruppen kan i praktiken också påverkas av behandlingen. Studenter som får en kursbok läser högt för studenterna i kontrollgruppen. Studenter med en mentor blir bättre och lär studenter i kontrollgruppen. Den estimerade effekt underskattar i så fall den sanna betydelsen av mentorn. Undersök via enkäter eller intervjuer om kontrollgruppen faktiskt har fått del av behandlingen. Utmaningar i randomiserade experiment. Knyt till utlottningen av boken. Studier på observationsdata visar att ”yrkesgymnasium” funkar bra. Men kanske dessa deltagare är mer motiverade? a) behandlingen?, b) populationen?, c) utfallet? d) tiden? Hot: Behandlingen smittar: Cross-overs; Attrition; Deltagande i sig påverkar; John Henry

Vad kan gå fel? Bortfall: Studenter hoppar av studien I praktiken finns en risk att du som forskare inte får in uppgifter om hur det går för alla deltagare i studien (eng. attrition). Om alla kvinnor hoppar av studien kan du inte längre uttala dig om den kausala effekten för kvinnor av att ha en mentor (extern validitet). Om avhoppen ser olika ut inom behandlings- och kontrollgruppen är antagandet om equal in expectation är inte längre korrekt (intern validitet). Undersök vilka som hoppar av och om olika slags studenter hoppar av från respektive grupp.

Vad kan gå fel? Cross-overs: Flyttar från anvisad grupp Individer som anvisats till behandling flyttar sig till kontrollgruppen och vice versa. Antagandet om equal in expectation är därför inte längre korrekt. STAR: Engagerade föräldrar tjatade så att deras barn flyttades över från en stor till en liten klass. Den estimerade effekten överskattar i så fall troligen den sanna betydelsen av åtgärden. Undersök om fördelningen hos kontrollvariabler är signifikant olika i de båda grupperna

Vad kan gå fel? Att vara med i experimentet i sig påverkar studenterna Hawthorne-effekten Vad spännande att vara utvald till ett experiment! gör att alla beter sig annorlunda än i vanliga fall (extern validitet) Intern validitet i fara om effekten olika för behandlings- och kontrollgrupp. Finns drivkrafter att få åtgärden se framgångsrik ut (till exempel lärarna i Tennesse?) John Henry-effekten Skit också, jag lottades till kontrollgruppen och fick ingen mentor. Nu jäklar ska jag plugga som en gris och spika tenten för att visa Lagerström.

Vad vet vi om förskolans effekter? Läs här.