Effekter av NTA på skolprestationer i årskurs 6 – hur vi ska mäta dem Erik Mellander Institutet för arbetsmarknads- och utbildningspolitisk utvärdering (IFAU) Joakim Svärdh KTH, Skolan för teknikvetenskaplig kommunikation och lärande Årlig stämma NTA Skolutveckling gudruni

Bakgrund: Tidigare mätning av effekter i åk 9 Baserat på ett slumpmässigt stickprov omfattande elever i åk 9, varav ca 1000 NTA-deltagare, åren Matchningsansats: statistiska metoder används för att bland icke-deltagarna identifiera 1000 ”jämförelsetvillingar”.. Säkerställda, positiva, effekter på resultaten på nationella prov i fysik, motsvarande 7 percentiler. Inga säkerställda effekter på provresultaten i biologi och kemi. Inga statistiskt signifikanta effekter på betyg i något ämne. Naturliga nästa steg: i) större urval, ii) kortsiktseffekter. 2

Kortsiktseffekter? Med kortsiktseffekter menar vi här effekter på skol- prestationer i åk 6. Detta motiveras av: NTA har ofta sin tyngdpunkt i åk 4-6, åk 6 är det första år för vilket det finns resultat på nationella prov i naturvetenskapliga ämnen. Resultat på nationella prov är vårt primära mått på skolprestationer. 3

Hur vi går tillväga 1.Jämförelsegrupp skapas via statistisk regressionsanalys Det inte är slumpmässigt vilka som deltar i NTA. Därför kan vi inte direkt jämföra skolresultat mellan NTA- deltagare och icke-deltagare. Istället försöker vi efterlikna ett medicinskt experiment med slumpmässig fördelning på behandlings- och jämförelsegrupp. Vad karakteriserar ett medicinskt experiment? De som ingår i experimentet har lika stor sannolikhet att hamna i behandlings- resp. jämförelsegrupp. 4

Hur vi går tillväga, II 1.Jämförelsegrupp skapas …. forts. M ed hjälp statistisk regressionsanalys skapar vi par av NTA-deltagare och icke-deltagare som har (nästan) samma skattade sannolikhet för NTA-deltagande... Hur?? Sannolikheten för NTA-deltagande skattas som en funktion av olika faktorer på kommun- och skolnivå, eftersom det är där som besluten att delta i NTA fattas. Vi kan observera värden på kommun- och skolfaktorer för både NTA-deltagare och icke-deltagare och vi vet vilka som faktiskt deltog resp. inte deltog  vi kan skatta sannolikheten för NTA-deltagande för alla elever. 5

Hur vi går tillväga, III 2. En första skattning av NTA-effekten Den genomsnittliga skillnaden i skolprestationer mellan de olika paren av NTA-deltagare och icke-deltagare som har (nästan) samma skattade sannolikhet för NTA-deltagande Detta kan vi göra både för de olika naturvetenskapliga ämnen var för sig och för biologi, fysik och kemi sammantagna, samt för skolprestationer mätta som resultat på nationella prov respektive som betyg. 6

Hur vi går tillväga, IV 3. Mera förfinade skattningar av NTA-effekten får vi genom att kontrollera resultatskillnaderna för elevegenskaper – kön, familjebakgrund, utländsk härkomst, resultat på andra nationella prov än naturvetenskapliga (allmänbegåvning) och NTA-aspekter: hur många och vilka NTA-teman eleven haft samt vilken/vilka NTA-lärare. 7

Data ”Urvalsram”: alla elever som skrev nationella prov i naturvetenskapliga ämnen i åk 6 åren , ca NTA Skolutveckling: NTA-deltagare – personnummer, år, termin, tema; lärares pnr; skola. Åren Ofta flera observationer per elev. Registerdata elever: kön, ålder, utländsk härkomst, föräldrainfo. (utbildning, inkomst, familjetyp), resultat på samtliga nationella prov i åk 6 och åk 3; betyg i merparten av ämnena i åk 6, skol- och kommuninformation. Registerdata NTA-lärarna: utbildning (gymnasiet →), yrkeserfarenhet, behörighet, föräldrainfo. 8

NTA eller ej? Hur fattas beslutet? Kommunala skolor : Vanligast att kommunen beslutar (smittspridning). Icke anslutna skolor i anslutna kommuner kan utnyttja att kommunen endast betalar inträdesavgiften en gång. Enskilda skolor: Vanligast att de bakomliggande bolagen fattar beslutet och i så fall generellt. Händer dock att individuella skolor fattar beslut om deltagande. 9

NTA eller ej? Kommun- och skolfaktorer Kommunfaktorer: folkmängd, andel i tättbebyggda områden, länstillhörighet, skattekraft, politisk majoritet, andel friskolor, NTA-region, närliggande NTA-kommun / NTA-skola Kommun- och skolfaktorer: Inkomst- och utbildningsnivå, skolkostnader/elev, andel elever åk 9 med G+ i alla ämnen, lärartäthet, andel lärare med universitetsutbildning, andel behöriga lärare, andel pojkar bland eleverna, andel utlandsfödda elever, andel elever med hemspråksundervisning. 10

Flerstegs- och flernivåanalys Steg: deltagande resp. icke-deltagande, omfattning och inriktning på deltagande. Nivåer: elev(grupps)nivå, skolnivå, kommunnivå, riksnivå. 11

Vad vi har gjort hittills Gått igenom, kompletterat och strukturerat NTA:s data på skolor, elever och lärare som har deltagit i NTA i årskurserna F-6 åren Förberett matchning av NTA-data med registerdata. Specificerat de registerdata vi behöver om skolor, elever och lärare. Etikprövat projektet (med bifall). Skickat ut informationsbrev till lärare och elever om att deltagandet i studien är frivilligt. Givit SCB offertunderlag för registerdata & matchning. 12

Vad som står närmast på tur … SCB:s sekretessprövning – prövning av risker för ”forskningspersonerna” som projektet kan tänkas medföra. Tyvärr (långtifrån) en formsak. Givet godkänd sekretessprövning, offert från SCB. Accept av offert  matchning & utlämnande av data Inledande deskriptiva analyser. Preliminära analyser för att bestämma jämförelsegrupp. 13

Tidsplan Seminarier / lägesrapporter på KVA inom perioden mars-maj 2016, inom perioden september-november 2016, inom perioden mars-juni