Reflektioner kring SCB:s strategier för att möta ökande bortfallsnivåer Daniel Thorburn Stockholms universitet Frimis-seminariet Linköping onsdagen den.

En presentation över ämnet: "Reflektioner kring SCB:s strategier för att möta ökande bortfallsnivåer Daniel Thorburn Stockholms universitet Frimis-seminariet Linköping onsdagen den."— Presentationens avskrift:

1 Reflektioner kring SCB:s strategier för att möta ökande bortfallsnivåer Daniel Thorburn Stockholms universitet Frimis-seminariet Linköping onsdagen den 11 november 2015

2 Reservation Föredraget är förbrett utan att veta vad Jan Hörngren har tagit upp. – Jag kan slå in öppna dörrar.

3 Reflektioner kring SCB:s strategier för att möta ökande bortfallsnivåer 1.Inledning 2.Historiskt perspektiv på organisationen 3.Synen på bortfall 4.Totalfelet 5.Större åtgärder 6.Bortfallsorsaker och åtgärder 7.Bortfallsredovisning

4 1.Inledning En ökning av bortfallet från 2 till 35 % (AKU) under min tid är allvarligt. Postenkäter måttligare ökning men från högre nivå. Medborgarundersökningen ligger idag på 53 % bortfall av ett nettourval 61 000. Tore Dalenius ansåg att 5 % var ett absolut tak och absolut inte större än de storheter man var intresserad av. SCB kritiserade privata institut för nivåer runt 20 %. Vägning (kalibrering) kompenserar en del men knappast denna ökning. Redan när jag började vägde de privata instituten och detta ansåg SCB vara förkastligt. Något måste göras!

5 1. Inledning Grodan i grytan (Lars Bergman) – Sätt en groda i gryta med hett vatten. Den hoppar därifrån så gott som oskadad – Sätt en groda i en gryta med kallt vatten och hetta upp. Den sitter kvar och blir kokt

6 1. Inledning Grodan i grytan (Lars Bergman) – Sätt en groda i gryta med hett vatten. Den hoppar därifrån så gott som oskadad – Sätt en groda i en gryta med kallt vatten och hetta upp. Den sitter kvar och blir kokt Telefonundersökningar – På 70-talet skulle ingen acceptera 30 % bortfall. – Men nu sitter SCB lugnt kvar i grytan även om det känns mer och mer obekvämt

7 2. Historiskt perspektiv på organisationen På 70-talet införde SCB månadslön för intervjuare och fast arbetstid för dem i Örebro (trots internt motstånd) Så småningom centraliserades större delen av intervjuarkåren till Örebro och man övergick successivt till allt mer telefonintervjuer. Det medförde bl a att SCB fått svårare att nå personer när de förmodas vara hemma och att intervjuarna saknar lokalkännedom..

8 2. Historiskt perspektiv på organisationen På 70-talet införde SCB månadslön för intervjuare och fast arbetstid för dem i Örebro (trots internt motstånd) Så småningom centraliserades större delen av intervjuarkåren till Örebro och man övergick successivt till allt mer telefonintervjuer. Det medförde bl a att man inte kan ringa folk när de förmodas vara hemma och att intervjuarna saknar lokalkännedom. Skapa en mer flexibel intervjuarorganisation! Det finns gott om studenter i Örebro, som inget hellre vill än att få extraknäck på obekväm arbetstid.

9 2. Historiskt perspektiv på organisationen – På 70-talet hade SCB krav på minst ett års akademiska statistikstudier för samtliga handläggare. Även ekonomi- och personalansvariga hade goda metodkunskaper – På 70-talet gjorde SCB många uppföljningar, kontrollundersökningar och liknande. Kostnadsbesparingar har inneburit att dessa nästan helt försvann. Behövs NU för att se bortfallets effekter! – Synen att chefer är en speciell kategori som behöver en egen utbildning men ingen ämneskunskap har lett till minskad metodförståelse. De är bra på att administrera en befintlig verksamhet; inte på att utveckla och förnya. Metodkunskapen har centraliserats och skall upphandlas av ansvariga chefer som inte förstår behovet. Se till att de som arbetar med statistiken har tillräckliga kunskaper! – En positiv punkt är dock att tillgången på processdata ökat men kvaliteten på processdata är inte bra. Det är nästan omöjligt att bedöma bortfallets orsaker och effekten av olika åtgärder. Förbättra kvaliteten NU! ”Varje process skall inte bara ge bra produkter utan också information för att förbättra processen” (Box)

10 3. Synen på bortfall I dag ses som bortfallsfelet en fix parameter. Det inbjuder till att säga t ex att man kanske får mindre bortfallsfel om man bryter insamlingen tidigare. Man bör istället se bortfallsfelet som en stokastisk variabel, med en varians som ökar med bortfallet. Pss som man gör för urvalsfelet. Om mätfelet är +/- 1 % är det bättre än +/- 2 % även om det i just detta fall råkade bli 1 % vid bra precision och 0 % vid låg precision

11 3. Synen på bortfall En enkel modell: De ip som kräver mer insatser har andra värden i snitt Denna kurva är okänd till höger om brytpunkten Om kurvan ses som slumpmässig/oförutserbar kan man visa att bortfallsfelet blir en stokastisk variabel med standardavvikelsen proportionell mot bortfallet b. (Modellen är inte riktig men den ger en god bild av problemet) Ordning mellan observationer efter tid till svar Förväntad svarsnivå Svar Gräns för bortfall 1-b

12 3. Synen på bortfall Om bortfallet ökar från 3 till 30 % ökar alltså standardavvikelsen med en faktor tio (vid just denna modell) SCB försöker minska felet med kalibrering (ungefär omviktning). I vanlig statistik vet man att förklaringsgrad är viktig (både av studerad variabel och bortfall). Med förklaringsgraden R så minskar variansen med en faktor 1-R. Om förklaringsgraden är 75% (99%) minskar alltså standardavvikelsen med en faktor ½ (1/10). Man skulle alltså behöva förklaringsgraden 99% för att uppväga en bortfallsökning från 3 till 30 %. (Modellen stämmer dock inte helt här. Två förklaringsgrader är inblandade; både av bortfall och studievariabel) Jag har förgäves försökt hitta förklaringsgraderna på SCBs hemsida. Normala förklaringsgrader från epidemiologin är 50 – 75 % av variansen.

13 4. Totalfelet Effekten av bortfallet är olika på olika variabler. Förändringsskattningar över tid påverkas helt annorlunda än nivån. Men förändringar är ofta mer intressanta än nivån, t ex av arbetslöshet och prisindex Eller opinioner, där det alltid brukar stå att förändringar under en viss nivå inte är säkerställda. Det är det media fokuserar på.

14 4. Totalfelet Alla felorsaker hänger samman. Gör avvägning mellan olika felorsaker. Med stora bortfallsfel bör bortfallsfelet väga tyngre vid avvägningar Exempel: Insamlingstid – Lång insamlingstid => lägre bortfall men minskad aktualitet och förändringar i värdena under insamlingstiden t ex vid PSU – Tänk igenom – Försök rensa för förändringar under insamlingstiden, t ex med regressionsskattningar Exempel: Relevans – Begränsa ev. målpopulationen till en grupp med hög svarsandel – Välj ev frågor som är mindre känsliga eller som ip lätt kan svara på.

15 5. Större omläggningar Många av SCBs undersökningar lades upp på 60- och 70- talet (med vissa förändringar därefter). De optimerades i en annan situation. Ta till exempel Arbetskraftsundersökningen, AKU, men behovet gäller även andra us. AKU byggdes ut under förra regeringen, som satsade på ”jobblinjen”. Men förändrades inte nämnvärt i övrigt. AKU är nu mycket stor. knappt 30000 ip/månad i urvalet. Blir verkligen avvägningen rätt med den storleken? Personligen tycker jag att hela sysselsättnings-statistiken borde utredas förutsättningslöst. Några andra större och mindre förslag om AKU:

16 5. Större omläggningar (och några ex på mindre) av AKU Minska urvalet t ex 20 % och använd resurserna till utredning och kvalitetshöjande åtgärder Mer varierande språklig/etnisk bakgrund. Kanske bättre utforma en undersökning per grupp och sätta samman efteråt Överväg att samarbeta med t ex invandrarorganisationer eller tex muslimska råd. Panelus. Fråga bortfallet vid nästa tillfälle även om värdet vid bortfallstillfället – fråga ett urval även om situationen för tre månader sedan för uppföljningsändamål. AMS-Register, AMS jämför – AKU är en US och AMS är hjälpinfo – AMS är basen och med AKU kan den översättas till ILO-definitioner – I princip samma sak men synen är annorlunda Tillgången på hjälpinformation – Utveckla metoder att använda partiell hjälpinfo. Tex Ladok för studenter eller tid i Sverige för nyanlända invandrare – Utveckla metoder att använda så mycket hjälpinfo att vanliga metoder överidentifierar. Finns Bayesianska metoder men också andra metoder i data-mining-sfären Fast panel t ex Webb-panel + kontrollus för att fixa nivån och rätta till bortfallsfel. Den första kan göras med ”mindre bortfall” men ger större skevhet och snabbhet. Den andra delen kan göras mera omsorgsfullt och med längre insamlingsperiod och därmed lägre bortfall. Fundera på mode – kanske papper och Webb för vissa grupper

17 6. Bortfallsorsaker och åtgärder Samhällsutvecklingen – orsaker till bortfall 1.Översköljs av reklam, spam, e-mejl, telefonförsäljare, nummerpresentatör 2.”Sig sel nok” – var och en avgör vad man själv gör – litar inte på staten – ej solidaritet 3.Svårare nå ip. Ökad individualisering – via familjemedlemmar. Dörrlås i flerfamiljehus. Globalisering – folk är bortresta 4.Språkproblem 5.Ständigt något att göra, mobil, Internet, fritidsaktiviteter etc. => Ip upptagen, Ip svår att nå och om ip nås blir det oftare vid olämplig tidpunkt 6.Tidsbrist, blir inte av. Enkelt att säga sig vara principiell vägrare (pappersblankett blir liggande, pss Webb-svar 7.Storebror ser dig – integritet – mindre viktig än tidigare

18 6. Bortfallsorsaker och åtgärder SCB måste identifiera orsaker och fundera genom varje orsak för sig. En samlad åtgärdslista där man startar med de olika felorsakerna och listar tänkbara olika åtgärder för att möta just det problemet, som man sedan väljer från. T ex: 1. Översköljs av reklam, spam, e-mejl, telefonförsäljare, nummerpresentatör – Informationsbrev skall verka seriösa och läsas – Undersökningen skall verka viktig. Eventuellt sända med pappersblankett bara för att betona vikten – Infobrev inpå uppringning i tiden så det inte glöms bort – Infobrev skall innehålla det nummer som SCB ringer från så det inte är obekant – Erbjud intervju direkt om Ip ringer till SCB (eller nästan direkt) – … Hellre för många än för få items på listan

19 6. Bortfallsorsaker och åtgärder Tänk igenom formuleringar. Nuvarande motiverande text i introduktionsbrev för AKU ”Du kan inte ersättas. Varje månad kontaktar vi ungefär 29500 personer. Det är slumpen som gjort att just du blivit utvald. Du kan inte ersättas av någon annan. Därför blir statistiken säkrare om du har möjlighet att vara med.” Välj istället t ex något i stil med ”Du kan inte ersättas. Beslutsfattarna behöver kunskaper om alla svenskar. Du är utvald för att representera en speciell grupp av personer (bl a yrkesgrupp, utbildning, ålder, kön och bostadsort). Om vi inte får in ditt svar, ökar risken att du och din grupp missgynnas av framtida politiska beslut.”

20 7. Bortfallsredovisning När bortfallet är stort är det viktigt att beskriva dess effekter väl inte minst för SCB själv Nuvarande formulering om bortfallets effekter på AKU på hemsidan (enligt metoddokumentationen) ”Användningen av hjälpinformationen på detta sätt reducerar bortfallsfelet betydligt jämfört med det tidigare skattningsförfarandet. För sysselsatta innebär det att bortfallsfelet reduceras till mindre än 1 procent och för arbetslösa till mindre än 3 procent”. Vad betyder det? Är arbetslösheten 7,2 +/- 3 % eller +/- 7,2*0,03 % = 7,2 +/- 0,22 %? Gäller siffran bara nivån för riket eller gäller den även svåra grupper t ex utrikes födda män under 25 år? Vet man något om riktning på felet? Vad har man för grund för denna bedömning av bortfallets effekter? Är det bara en from förhoppning?

21 Tack för att ni lyssnade!