Checklista för outputgranskning Martin Ribe och Jörgen Svensson SCB, Sverige Nordiska statistikermötet 2010 Tema 3 – Statistikproduktionen

Checklista för outputgranskning: Outputgranskningens roll 1  Upptäcka fel i värden genom mätfel  Upptäcka misstag, fel i processutförande

3 Checklista för outputgranskning: Outputgranskningens roll 2 Ge underlag för:  Korrigering i aktuell produktionsomgång  Kommentarer i statistikredovisningen  Kvalitetsredovisning  Förbättring av processer, minska felrisker 203

4 4 Checklista för outputgranskning: Outputgranskningens roll 3  Är granskning på makrodata – statistikresultat  På engelska: Output validation, Output editing  Kompletterar föregående mikrogranskning  Obs: ”makrogranskning” kan betyda antingen outputgranskning eller selektiv mikrogranskning  Säkrar inför efterföljande leveranskontroll  Inte så mycket fokuserad i metodlitteratur  Selektiv mikrogranskning finns mera skrivet om  Väsentlig för kvalitetssäkring av statistiken

5 Map customers 1.2 Determine Information needs 1.4 Establish customer contact 1.3 Negotiate and contract 1.5 Prepare dissemination 7.1 Compile end product 7.2 Disseminate product to customer 7.3 Classify and code microdata 5.1 Edit microdata 5.2 Impute for nonresponse 5.3 Complement microdata 5.4 Calculate weights 5.5 Conduct disclosure control 6.3 Generate frame and register population 4.1 Set up data collection 4.3 Run data collection 4.4 Transfer and storage of data electronically 4.5 Design end product 2.1 Design data collection 2.3 Design processing 2.4 Design analysis 2.5 Design dissemination and communication 2.6 Design workflow 2.7 Build collection instrument 3.1 Build and adapt tools 3.2 Build workflow 3.3 Test collection instrument 3.4 Test tools and workflow 3.5 Conduct pilot study 3.6 Produce statistics 6.1 Edit macrodata 6.2 Finalise observation register 6.4 Interpret and explain 6.5 Design frame, register population and sample 2.2 Map information needs and supply 1.1 Communicate product 7.4 Generate sample 4.2 Plan production cycle 2.8 Initialise workflow 3.7 Finalise outputs for dissemination 6.6 Determine needs 1 Design and plan 2 Build and Test 3 Collect 4 Process 5 Analyse 6 Disseminate and communicate 7 Dispose and archive 7.5 Checklista för outputgranskning: Plats på processkartan (SCB:s )

Checklista för outputgranskning: Behov av k valitetsåtgärder  Plan på certifiering av SCB enligt ISO  Standard för marknads-, opinions- och samhällsundersökningar  Inträffade fel genom misstag i publicerad statistik

Checklista för outputgranskning: Stärkta säkerhetsrutiner på SCB på uppdrag av regeringen, efter KPI-fel:  Stärkta testrutiner  Loggning av systemändringar  Uppföljning av fel  Uppföljning av avvikande värden  Berör outputgranskning  med mera

Checklista för outputgranskning: Checklistans idé  Ska säkra systematiken i outputgranskningen  Ska enl. GD-beslut tillämpas på alla statistikprodukter  Tillgänglig internt genom Verksamhetsstödet – intranätbaserat system för stöddokument  Anpassas för varje statistikprodukt  Fokus på att identifiera och följa upp misstänkt avvikande värden  Värden som så avviker från förväntat/normalt, att fel kan misstänkas i indata eller processut- förande

Checklista för outputgranskning: Checklistans struktur 1.Före produktion – Skapa stöd produktspecifikt 2.I produktion – Identifiera misstänkt avvikande värden 3.I produktion – Följ upp misstänkt avvikande värden 4.I produktion – Hantera slutsatser

Checklista för outputgranskning: Del 1 – Skapa stöd produktspecifikt Specificera en checklista anpassad för produkten. Exempel på punkter:  (1.2) Specificera saklogiska samband mellan värden, att kollas. – Exempel: summor som ska stämma.  (1.5) För rimlighetskontroll: Välj resultat från tidigare produktionsomgångar, att jämföra med.  (1.8) Om möjligt, formulera kriterier för misstänkt avvikande värden.

Checklista för outputgranskning: Del 2 – Identifiera misstänkt avvikande värden Exempel på punkter:  (2.3) Genomför outputgranskningen med det produktspecifika stödet – identifiera eventuella misstänkt avvikande värden.  (2.4) Bedöm översiktligt resultaten utifrån ämnes- kännedom, allmän erfarenhet och sunt förnuft.

Checklista för outputgranskning: Del 3 – Följ upp misstänkt avvikande värden Utred misstänkt avvikande värden, för endera slutsatsen: − att processerna bedöms ha utförts korrekt − att fel eller misstag i processutförande har identifierats Exempel på punkter:  (3.1) Om någon orsak är särskilt tänkbar, utred den.  (3.2) Ta reda på ev. driftstörning, kör om vid behov.  (3.8) Ta reda på ev. ändring i rutiner eller system – utred om den har utförts korrekt, anlita metod- och IT- kompetens vid behov.

Checklista för outputgranskning: Del 4 – Hantera slutsatser Exempel på punkter:  (4.1) Vid fel eller misstag i processutförande: Utred felets orsak och hur det ska undvikas framöver.  (4.4) Bedöm om tillräcklig klarhet har uppnåtts om orsakerna till misstänkt avvikande värden. Är så inte fallet, dokumentera kommentarer om osäkerhet i statistiken genom detta.

Checklista för outputgranskning: Uppföljning, vidare utveckling  Ta vara på synpunkter från checklistans tillämpning på statistikprodukter  Överväga ev. modifieringar i checklistan, för bästa tillämplighet